# English Financial News — 项目开发计划 > 国际财经新闻抓取与深度研究平台 > > 对标 `news/` (A 股 Deep Research)，复用其架构模式，聚焦英文财经源。 --- ## 一、项目定位 构建面向国际财经新闻的私有化 Deep Research 平台。 核心能力： - 英文财经新闻抓取（Crawl4AI） - 新闻联播数据接入（api.doorcome.cn） - 全文英译中（LLM） - 投资事件抽取（LLM） - 双语向量知识库（Qdrant） - MCP 服务 + Cherry Studio / Claude Code Agent 深度研究 - 每日 AI 摘要日报（含新闻联播投资相关解读） 本项目不是： - 交易系统 - 预测系统 - 投资顾问 --- ## 二、部署拓扑 ``` ┌──────────────────────────────────────────────────────────────┐ │ Overseas Server (国外) │ │ M1 Crawl4AI 抓取 → data/raw/{source}/{YYYYMMDD}/ │ │ ↓ │ │ rsync 增量推送 (定时) │ └──────────────────────────┬───────────────────────────────────┘ │ SSH / rsync ▼ ┌──────────────────────────────────────────────────────────────┐ │ Domestic Server (国内) │ │ M2 正文提取 → M3 去重 → M4 翻译+事件抽取(LLM) │ │ → M5 向量生成 → M6 Qdrant 入库 │ │ → M7 定时调度 → M8 MCP 服务 │ │ → 日报生成 (AI 摘要 + 重要事件 + 新闻联播投资解读) │ │ │ │ ┌── 新闻联播数据源 (独立 API) ──┐ │ │ │ GET api.doorcome.cn/api/xwlbFine/ │ │ │ → LLM 筛选投资相关 → 重要性评分 → AI 解读 │ │ └──────────────────────────────┘ │ └──────────────────────────────────────────────────────────────┘ ``` 同步机制： - 海外服务器每天定时 `rsync -avz` 推送 `data/raw/` 到国内 - 国内定时任务先拉取同步，再执行 M2→M8 管道 - rsync 天然增量（只传新文件），带宽高效 --- ## 三、Milestone 分解 ### M0 — 项目骨架 - `pyproject.toml`（Python 3.11 + uv） - `.env.example` - `configs/sources.yaml`（英文财经源配置） - `CLAUDE.md` - 目录结构初始化 - CLI 入口：`en-news` ### M1 — 新闻抓取（海外服务器） **技术选型**：Crawl4AI（异步 + Playwright JS 渲染），与 A 股项目一致。 **英文财经源**（初始 12 个）： | 源 ID | 名称 | 类型 | |-------|------|------| | reuters | Reuters | 综合财经 | | cnbc | CNBC | 市场新闻 | | marketwatch | MarketWatch | 市场数据 | | ft | Financial Times | 财经深度 | | yahoo_finance | Yahoo Finance | 综合 | | investing | Investing.com | 全球市场 | | seekingalpha | Seeking Alpha | 投资分析 | | barrons | Barrons | 市场评论 | | wsj | WSJ | 综合财经 | | economist | The Economist | 经济分析 | | forexlive | ForexLive | 外汇新闻 | | zerohedge | ZeroHedge | 另类财经 | 每个源配置字段： ```yaml - id: "reuters" name: "Reuters" enabled: true homepage: "https://www.reuters.com/business/" article_url_pattern: "/[^/]+/[^/]+/" js_render: true max_articles_per_run: 30 ``` **产物**：`data/raw/{source_id}/{YYYYMMDD}/{url_hash}.html` + `index.jsonl` **同步守护进程**： ```bash # 海外 crontab：每天 05:00 UTC 推送 0 5 * * * rsync -avz --ignore-existing /app/data/raw/ user@domestic:/app/data/raw/ ``` ### M2 — 正文提取（国内服务器） **输入**：`data/raw/{source_id}/{date}/`（rsync 同步后） **提取方案**： - 优先使用 Crawl4AI 输出的 Markdown（`{url_hash}.md`） - 对未生成 Markdown 的源，用 `trafilatura`（英文正文提取，类 GNE 但针对英文优化） - 输出标准化 `Article` 模型（`title` / `content` / `publish_time` / `author` / `source_id`） **产物**：`data/processed/{source_id}/{YYYYMMDD}/{url_hash}.json` ### M3 — 去重 与 A 股项目相同的三层去重： 1. URL Hash（精确） 2. 内容 Hash（SHA256 前 64 字符） 3. SimHash 模糊（汉明距离 ≤ 3，30 天窗口） **产物**：`data/deduped/{YYYYMMDD}/uniques/{url_hash}.json` ### M4 — 翻译 + 投资事件抽取（LLM） **单次 LLM 调用完成两件事**（节省 token）： Prompt 设计： ``` 输入：英文财经新闻全文 输出 JSON： { "translation_zh": "中文全文翻译", "events": [ { "event_type": "并购/财报/政策/行业/...", "stock_codes": ["AAPL", "TSLA"], "sentiment": "positive/negative/neutral", "importance": 1-5, "summary_zh": "事件中文摘要" } ] } ``` **LLM Provider**：DeepSeek（默认）/ Qwen 备选 **产物**：`data/events/{YYYYMMDD}/{url_hash}.json` ```json { "title": "Apple Reports Record Q2 Earnings", "title_zh": "苹果公布创纪录第二季度财报", "content_en": "...", "content_zh": "...", "events": [...] } ``` ### M5 — 向量生成 - Embedding Provider：DashScope `text-embedding-v3`（1024 维） - 对中文翻译内容向量化（`content_zh` + `title_zh` + 事件摘要拼接） - 也可选择英文原文向量化，支持双语检索 **产物**：`data/embeddings/{YYYYMMDD}/{url_hash}.json` ### M6 — Qdrant 入库与检索 与 A 股项目相同： - 本地文件模式（默认）或 Docker Server 模式 - Collection：`en_finance_news` - Payload：`source_id` / `title` / `title_zh` / `url` / `publish_time` / `events` / `sentiment` / `importance` - Vector：从 M5 产物加载 ```python uv run en-news search "Fed interest rate decision" ``` ### M7 — 新闻联播数据源（独立模块） **数据获取**： ``` GET https://api.doorcome.cn/api/xwlbFine/?start_date=YYYY-MM-DD&end_date=YYYY-MM-DD ``` **响应结构**： ```json { "status": "success", "data": { "news": [ { "news_days": "2026-06-20", "daily_sub_id": 1, "news_title": "牢记总书记嘱托 各地在文脉赓序中推动城市高质量发展", "news_improve": "历史文化是城市的灵魂...(全文约3000字)" } ] } } ``` 每天约 12-15 条新闻，每条含完整文字稿。 **处理流程**： 1. **获取** — 日报生成前拉取昨日新闻联播数据。例如 6/21 早上执行日报 → 拉取 6/20 的新闻联播（前一日 19:00 播出，次日凌晨 API 已就绪） 2. **投资相关性筛选（LLM）** — 用 DeepSeek 逐条判断是否与投资相关 - 经济数据、产业政策、贸易谈判 → **高相关**（importance 4-5） - 科技创新、区域发展、基建项目 → **中相关**（importance 2-3） - 文化、民生、体育、天气 → **非相关**（跳过） 3. **AI 解读** — 对投资相关条目生成 2-3 句投资视角解读： - 对哪些行业/板块有影响 - 政策信号含义 - 市场可能的反应 4. **纳入日报** — 单独一节展示，区别于英文财经新闻 **产物**：`data/xwlb/{YYYYMMDD}/index.jsonl` ```json { "news_days": "2026-06-20", "daily_sub_id": 5, "news_title": "中欧班列统一品牌十周年", "is_investment_related": true, "importance": 4, "category": "贸易/物流", "ai_interpretation": "中欧班列十年数据将直接反映一带一路贸易活跃度,利好物流、港口、跨境贸易板块..." } ``` ### M8 — 定时调度 - 国内 crontab 或 APScheduler 守护进程 - 日期规则：T 日早上生成的日报覆盖 T-1 日数据（新闻 + 新闻联播） - 流程： ``` 06:00 等待海外 rsync 完成（检查哨兵文件） 06:30 M2→M3→M4→M5→M6 全链路（处理 T-1 日英文新闻） 07:00 拉取 T-1 日新闻联播 → LLM 筛选解读 → 日报生成 12:00 增量（只处理当日新增） 18:00 增量 22:00 增量 + 日报 ``` ### M9 — MCP 服务 暴露 5 个 MCP 工具给 Cherry Studio / Claude Code： | 工具 | 功能 | |------|------| | `search_en_news` | 通用语义检索（中文查询 → 中文翻译向量匹配） | | `search_by_company` | 按公司名/股票代码检索 | | `search_by_sentiment` | 按情绪检索+统计 | | `search_by_event_type` | 按事件类型检索 | | `get_daily_report` | 获取最新日报 | --- ## 四、数据模型 ```python class EnArticle(BaseModel): source_id: str url: str url_hash: str title: str # 英文原标题 title_zh: str # 中文翻译标题 content_en: str # 英文原文 content_zh: str # 中文全文翻译 author: str publish_time: datetime source_name: str word_count: int word_count_zh: int class EnExtractedEvent(BaseModel): article_url_hash: str event_type: str # 并购/财报/政策/行业/市场/... stock_codes: list[str] # 涉及美股代码 sentiment: str # positive/negative/neutral importance: int # 1-5 summary_zh: str # 中文摘要 summary_en: str # 英文摘要 class XwlbItem(BaseModel): """新闻联播条目（经 LLM 筛选和解读）。""" news_days: str # 播出日期 "2026-06-20" daily_sub_id: int # 当日序号 (1-15) news_title: str # 标题 news_improve: str # 完整文字稿 is_investment_related: bool # 是否投资相关 importance: int # 投资重要性 1-5 (非投资为 0) category: str # 投资类别 (贸易/产业政策/科技/基建/金融/...) ai_interpretation: str # AI 投资解读 2-3 句 ``` --- ## 五、日报设计 命令：`uv run en-news pipeline --once --report` 执行顺序：新闻联播拉取 → LLM 筛选解读 → 日报 HTML 生成 六段式结构： 1. **AI 摘要**（24h 国际财经 + 昨日新闻联播投资相关，≤500 字，最后一条不截断） 2. **重要事件：国际新闻**（24h 英文源，importance ≥ 4 逐级回退，最多 20 篇） 3. **📺 新闻联播投资解读**（昨日播出，投资相关条目 + AI 解读） - 展示格式：标题 | 投资相关性类别 | 重要度 | AI 解读（2-3 句） - 非投资相关条目不显示 - 示例： ``` 📺 中欧班列统一品牌十周年 [贸易/物流] ⭐⭐⭐⭐ AI解读: 中欧班列十年数据将直接反映一带一路贸易活跃度。 关注物流、港口、跨境贸易板块。政策利好中国外运、中远海控等。 ``` 4. **市场情绪分布**（利好/利空/中性，24h 国际新闻 + 新闻联播合并统计） 5. **数据总览**（M1→M6 管道统计 + 各源抓取量 6 列网格 + 重要度分布 + 事件类型分布 + 新闻联播条目数） 6. **完整新闻联播条目列表**（当天的全部条目，标题+简要，含非投资类，供快速浏览） --- ## 六、配置规范 ### configs/sources.yaml ```yaml settings: concurrency: 5 user_agent: "Mozilla/5.0 ..." output_root: "data/raw" sources: - id: "reuters" name: "Reuters" enabled: true homepage: "https://www.reuters.com/business/" article_url_pattern: "/[^/]+/[^/]+/" js_render: false max_articles_per_run: 30 ``` ### .env 关键配置 ```bash # LLM LLM_PROVIDER=deepseek LLM_MODEL=deepseek-v4-flash DEEPSEEK_API_KEY=sk-xxx # Embedding EMBEDDING_PROVIDER=dashscope DASHSCOPE_API_KEY=sk-xxx # 新闻联播 XWLB_API_BASE=https://api.doorcome.cn # Schedule SCHEDULE_TIMES=06:30,12:00,18:00,22:00 SYNC_WAIT_SEC=300 # Qdrant QDRANT_COLLECTION=en_finance_news # Overseas → Domestic SYNC_HOST=user@domestic-server SYNC_PORT=22 SYNC_SENTINEL=/tmp/en_news_sync_done ``` --- ## 七、目录结构 ``` english-news/ ├── crawler/ # M1 新闻抓取(Crawl4AI, 部署海外) ├── extractor/ # M2 英文正文提取(trafilatura) ├── dedup/ # M3 三层去重 ├── translator/ # M4a 全文翻译(LLM) ├── llm/ # M4b 投资事件抽取 ├── embedding/ # M5 向量生成 ├── vectorstore/ # M6 Qdrant 客户端 ├── xwlb/ # M7 新闻联播数据源 ├── scheduler/ # M8 定时任务 ├── mcp_server/ # M9 MCP 服务 ├── app/ # CLI 入口(en-news) ├── configs/ # sources.yaml / system config ├── prompts/ # LLM Prompt 模板 ├── scripts/ # 部署 & 运维脚本 │ ├── sync_daemon.sh # 海外 rsync 推送脚本 │ └── wait_for_sync.py # 国内等待同步完成 ├── tests/ # pytest ├── docs/ # 设计文档 ├── data/ # 数据目录(git ignored) │ ├── raw/ # M1 产物(海外与国内共享) │ ├── processed/ # M2 产物 │ ├── deduped/ # M3 产物 │ ├── events/ # M4 产物 │ ├── embeddings/ # M5 产物 │ ├── xwlb/ # 新闻联播数据(经 LLM 筛选与解读) │ ├── qdrant_storage/ # M6 Qdrant 本地存储 │ └── reports/ # 日报 HTML ├── logs/ # 运行日志 ├── pyproject.toml ├── CLAUDE.md └── README.md ``` --- ## 八、技术选型对比 | 模块 | A 股项目 | 英文财经项目 | 差异 | |------|---------|-------------|------| | 抓取 | Crawl4AI | Crawl4AI | 一致 | | 正文提取 | GNE | trafilatura | 英文优化 | | 翻译 | — | LLM (DeepSeek) | **新增** | | 去重 | 三层 | 三层 | 一致 | | LLM 事件 | DeepSeek/Qwen | DeepSeek/Qwen | 一致 | | Embedding | DashScope | DashScope | 一致 | | 向量库 | Qdrant | Qdrant | 一致 | | 新闻联播 | — | api.doorcome.cn + LLM 筛选 | **新增** | | 调度 | APScheduler | APScheduler | 一致 | | MCP | FastMCP | FastMCP | 一致 | | CLI | a-share | en-news | 命名区分 | --- ## 九、开发优先级（建议顺序） | 序号 | Milestone | 预估工期 | 依赖 | |------|-----------|---------|------| | 1 | M0 项目骨架 | 0.5 天 | — | | 2 | M1 抓取（海外） | 2 天 | M0 | | 3 | rsync 同步机制 | 0.5 天 | M1 | | 4 | M2 正文提取 | 1 天 | 同步就绪 | | 5 | M3 去重 | 1 天 | M2 | | 6 | M4 翻译+事件抽取 | 1.5 天 | M3 | | 7 | M5 向量 + M6 Qdrant | 1 天 | M4 | | 8 | M7 新闻联播数据源 | 1 天 | — (独立模块) | | 9 | M8 调度 + 日报 | 1.5 天 | M6, M7 | | 10 | M9 MCP 服务 | 1 天 | M6 | | **总计** | | **~11 天** | | --- ## 十、关键风险 | 风险 | 缓解措施 | |------|---------| | 英文源 JS 渲染复杂 | Crawl4AI 已有 Playwright 支持，优先使用轻量级源 | | LLM 翻译质量不稳定 | System prompt 约束翻译风格，保留原文备查 | | rsync 网络不稳定 | 添加重试机制 + 哨兵文件完整性检查 | | 海外 IP 被封 | 轮换 User-Agent，控制请求频率（≥ 2s/req） | | DeepSeek API 限流 | 并发控制 + Qwen 备选 provider | --- > 本计划文件：`~/Downloads/cc-projects/english-news-plan.md` > > 最后更新：2026-06-20