intl_news/README.md

English Financial News

国际财经新闻私有化 Deep Research 平台。

核心能力

• M1 英文财经新闻抓取（Crawl4AI，headful Playwright + HTTP 代理，13 个源）
• M2 英文正文提取（trafilatura）
• M3 三层去重（URL Hash / 内容 Hash / SimHash 模糊）
• M4 全文英译中 + 投资事件抽取（LLM DeepSeek v4-flash）
• M5 向量生成（DashScope text-embedding-v3，1024 维）
• M6 双语向量知识库（Qdrant）
• M7 定时调度（06/12/18/22） + 每日 AI 摘要日报（M9 起结构化写入 MySQL，不再产出 HTML）
• M8 MCP 服务（Cherry Studio / Claude Code Agent 深度研究）

部署架构

国内服务器（Pi 4, 8GB）
┌──────────────────────────────────────┐
│  M1 抓取（headful Playwright）        │
│   HTTP 代理 → Privoxy → SOCKS5      │
│        ↓                             │
│  M2 正文提取 → M3 去重               │
│        ↓                             │
│  M4 翻译+事件抽取（DeepSeek）         │
│        ↓                             │
│  M5 向量生成 → M6 Qdrant 入库        │
│        ↓                             │
│  日报生成 → 写入 MySQL（news_report） │
│        ↓                             │
│  M8 MCP 服务（研究 Agent）           │
└──────────────────────────────────────┘

海外服务器已于 2026-07-14 停用，全链路在 Pi 独立运行。

---

新闻源状态（2026-07-23）

源	ID	策略	日产量	状态
Reuters	reuters	Google News RSS	~30 篇摘要	⚠️ DataDome
CNBC	cnbc	CNBC RSS	~25 篇	✅
MarketWatch	marketwatch	RSS + stealth	~25 篇	✅
Financial Times	ft	FT RSS	~20 篇摘要	⚠️ 付费墙
Yahoo Finance	yahoo_finance	Yahoo RSS	~30 篇	✅
Investing.com	investing	Google News RSS + stealth	25 篇摘要	✅ 2026-07-23 修复
Seeking Alpha	seekingalpha	RSS + stealth	~20 篇	✅
Barron's	barrons	Dow Jones RSS + stealth	~20 篇	✅
WSJ	wsj	Dow Jones RSS + stealth	~20 篇	✅
Economist	economist	RSS + stealth	~15 篇	✅
InvestingLive	investinglive	RSS（全文）	25 篇	✅ 2026-07-23 新增
ZeroHedge	zerohedge	FeedBurner RSS	~15 篇全文	✅
ForexLive	forexlive	已迁移	0	❌ 301→investinglive

注： RSS 摘要源的全文通过 headful Playwright + HTTP 代理回退抓取。当前国内服务器使用 Shadowsocks + Privoxy 代理访问海外。

---

快速开始

环境要求

• Python 3.11
• uv
• Xvfb（Pi 服务器 headful 模式需要）
• Shadowsocks 客户端 + Privoxy（国内服务器海外代理）

安装

# 创建虚拟环境并安装依赖
uv sync

# 配置环境变量
cp .env.example .env
# 编辑 .env 填入真实 API Key（DeepSeek / DashScope / Qdrant）

Pi 服务器前置条件

# 1. Xvfb 虚拟显示器（headful Playwright 需要）
sudo apt install xvfb
Xvfb :99 -screen 0 1280x1024x24 -ac +extension RANDR &

# 2. Shadowsocks + Privoxy（HTTP 代理访问海外）
sudo apt install shadowsocks-libev privoxy
# 配置 /etc/shadowsocks-libev/config.json（服务端信息）
# 配置 /etc/privoxy/config（forward-socks5t 127.0.0.1:1088 .）
sudo systemctl enable --now shadowsocks-libev-local
sudo systemctl enable --now privoxy

---

操作命令

全流程自动化

# 全流程：M1 抓取 → M2→M6 管道 → 日报
# 每天 06:00 / 12:00 / 18:00 / 22:00 自动执行
bash scripts/domestic_full.sh

# 中断恢复：跳过当天已完成步骤（状态存 data/run_state/{date}.state）
# 支持步骤级断点：M1_crawl / M2_extract / M3_dedup / M4_translate / M5_embed / M6_index / report
bash scripts/domestic_full.sh --resume
# 仅 M2→M6 管道（同样支持 --resume）
bash scripts/pipeline.sh --resume

单步执行

# M1 抓取全部源（headful + HTTP 代理）
bash scripts/domestic_crawl_8g.sh

# M1 单源测试
bash scripts/domestic_crawl_8g.sh investing
bash scripts/domestic_crawl_8g.sh investinglive

# M2→M6 管道（需先有 raw 数据）
bash scripts/pipeline.sh

# 仅生成日报（写入 MySQL news_report/news_event，report_type="intl"）
uv run en-news report

调度查看

# 查看最近日志
tail -50 logs/full.log

# 查看日报
ls -lt data/reports/

---

配置说明

文件	用途
configs/sources.yaml	英文财经新闻源定义（13 个源）
configs/system.yaml	模型按场景（llm_scenes）/重试/阈值等系统配置
configs/profiles/8g_headful.yaml	Pi 服务器 headful 抓取配置（代理/超时）
configs/profiles/8g_headful.yaml	Pi 服务器 headful 抓取配置（代理/超时）
.env	密钥 / 服务地址（不入 Git）
prompts/	LLM Prompt 模板（翻译/日报/搜索 Agent）

AI 模型按场景配置（llm_scenes）

大模型按场景独立配置，见 configs/system.yaml 的 llm_scenes 段：

场景	用途	模型（当前）	参数
translation	M4 全文英译中 + 投资事件抽取	deepseek-v4-flash	temperature=0.1, max_tokens=8192
daily_report	M7 日报 AI 摘要（分批生成）	deepseek-v4-flash	temperature=0.3, max_tokens=1500

场景未声明的字段回退 llm 默认段；Embedding 为单一场景（en_finance_news 库入库/检索向量必须同模型，不支持拆分）。

去重多来源（M3）

去重时跨源重复的新闻，会把所有来源记录到保留的唯一篇 source_ids 字段（首个来源为 source_id），经翻译透传后：

• news_event.source：拼接展示名（如 "Barron's, CNBC, Reuters"，最多前 3 个，向后兼容）
• news_event.sources（TEXT，JSON 数组）：全部来源展示名，主源居首，如 ["Barron's","CNBC","Reuters","Financial Times"]，前端直接渲染完整来源列表

表结构变更（news_event 新增 sources 列）由 report_db.init_schema() 幂等迁移（ALTER TABLE ... ADD COLUMN IF NOT EXISTS，MariaDB 10.0.2+）。

中断恢复（--resume）

全流程脚本支持断点续跑：

• scripts/domestic_full.sh --resume / scripts/pipeline.sh --resume：跳过当天已完成步骤（步骤状态存 data/run_state/{YYYYMMDD}.state，按天换新，跨天自动失效）
• 步骤粒度：M1_crawl / M2_extract / M3_dedup / M4_translate / M5_embed / M6_index / report；某步失败不标记，--resume 从失败处重试
• 文件级增量（各步骤内自动跳过已处理文件）：M2 按 data/processed/.../{url_hash}.json 存在性、M3 按指纹库判重、M4 按 data/events/.../{url_hash}.json 存在性、M5 按 data/embeddings/.../index.json、M6 按 Qdrant upsert 幂等（点 id=url_hash）、日报按 MySQL 唯一键覆盖

终端进度与日志

执行全流程时，终端实时显示完整进度，且显性标注当前阶段与 AI 模型：

• 每阶段标题：━━━ M2 正文提取 ━━━、━━━ M4 翻译+事件抽取（AI 大模型: deepseek / deepseek-v4-flash）━━━（AI 阶段自动从 system.yaml 读取供应商/模型）
• 每步进度：▶ 步骤 开始 → 步骤内逐源/逐篇输出 → ✔ 完成（耗时 Ns）；失败显示 ✗ 与退出码
• AI 调用点在 Python 层同样显性打印（AI 大模型（场景 translation/daily_report）: provider=... model=...、初始化 Embedding 客户端: provider=dashscope model=...）
• 日志：logs/domestic_full_{ts}.log（全流程）、logs/pipeline_{ts}.log（管道），已入 .gitignore

日报入库（M9）

日报内容结构化写入与 news 项目 共用的 MySQL myquant 库（表 news_report / news_event，report_type="intl"，同一天重复生成幂等覆盖）。表结构与数据契约见 news 项目 docs/db_schema.md。

.env 需配置（与 news 项目 .env 的 NEWS_DB_PASSWORD 相同）：

NEWS_DB_HOST=192.168.1.10    # pi5 经内网直连 pi 上的 autossh 隧道（0.0.0.0:13306 → doorcome.cn:3306）
NEWS_DB_PORT=13306
NEWS_DB_USER=myquant
NEWS_DB_PASSWORD=xxx
NEWS_DB_NAME=myquant

---

数据存储

data/
├── raw/{source_id}/{yyyymmdd}/    M1 原始抓取（HTML + Markdown）
├── processed/{source_id}/         M2 正文提取结果
├── dedup/                          M3 去重指纹库（SQLite）
├── translations/{yyyymmdd}/       M4 翻译+事件抽取结果（JSONL）
├── embeddings/{yyyymmdd}/         M5 向量文件（JSONL）
├── reports/                        M7 日报（M9 起不再产出 HTML，改存 MySQL）
└── vectorstore/                    M6 Qdrant 数据

Qdrant collection 名称：en_finance_news

---

MCP 服务

M8 模块提供 MCP（Model Context Protocol）服务，供 Cherry Studio / Claude Code 等客户端接入进行深度研究。

# 启动 MCP 服务
uv run en-news mcp-server

支持的工具：

Tool	功能
en_news_search	语义搜索知识库
en_news_filter	按源/日期/情绪筛选
en_news_trending	获取热点事件
en_news_report	获取最新日报
en_news_daily_brief	一键生成简报

---

常见问题

为什么有些源只拿到摘要？

部分网站有强反爬（Cloudflare/DataDome/付费墙），RSS 只返回摘要。全文可尝试 headful 浏览器回退，但成功率取决于代理线路质量。

日报存在哪里？

M9 起日报结构化写入 MySQL myquant 库：主表 news_report（report_type="intl"）+ 明细表 news_event（section="intl"），数据契约与 news 项目 一致（见其 docs/db_schema.md）。历史 HTML 日报（2026-06-16 ~ 2026-08-03）已由 news 项目解析导入。API / 前端读取同一批表。

如何添加新源？

编辑 configs/sources.yaml，添加源配置（id/name/homepage/rss_url/article_url_pattern 等）。参考现有源格式。

---

项目计划

详见 english-news-plan.md

许可证

MIT