simonandClaude
5c106120bf
- crawler.py: 启用 magic/stealth 全自动反检测, --disable-webrtc, delay_before_return_html=3s, remove_consent_popups, 过滤列表页URL - rss_crawler.py: 新增 _make_rss_client() 支持 httpx 代理, Google News RSS 跳过 article_url_pattern 域名过滤 - sources.yaml: investing.com 改用 Google News RSS 代理绕过Cloudflare; forexlive -> investinglive (域名已301重定向) - domestic_crawl_8g.sh: HTTP_PROXY/HTTPS_PROXY 在 .env 加载前设置 Co-Authored-By: Claude <noreply@anthropic.com>
English Financial News
国际财经新闻抓取与深度研究平台。
核心能力
- M1 英文财经新闻抓取（Crawl4AI，12 个源，部署海外）
- M2 英文正文提取（trafilatura）
- M3 三层去重（URL Hash / 内容 Hash / SimHash 模糊）
- M4 全文英译中 + 投资事件抽取（LLM DeepSeek）
- M5 向量生成（DashScope text-embedding-v3）
- M6 双语向量知识库（Qdrant）
- M7 定时调度 + 每日 AI 摘要日报
- M8 MCP 服务（Cherry Studio / Claude Code Agent）
部署架构
海外服务器 国内服务器
M1 抓取 ──rsync──▶ M2→M3→M4→M5→M6
↓
日报 + M7 调度
↓
M8 MCP 服务
快速开始
环境要求
- Python 3.11
- uv
安装
# 创建虚拟环境并安装依赖
uv sync
# 配置环境变量
cp .env.example .env
# 编辑 .env 填入真实 API Key
CLI 命令
uv run en-news --help
# 子命令
uv run en-news crawl # M1 抓取
uv run en-news extract # M2 提取
uv run en-news dedup # M3 去重
uv run en-news translate # M4 翻译+事件抽取
uv run en-news embed # M5 向量生成
uv run en-news index # M6 Qdrant 入库
uv run en-news search "..." # M6 语义检索
uv run en-news report # 日报生成
uv run en-news pipeline # 一键管道
uv run en-news mcp-server # M8 MCP 服务
配置
| 文件 | 用途 |
|---|---|
configs/sources.yaml |
英文财经新闻源定义 |
configs/system.yaml |
系统级业务参数 |
.env |
密钥 / 服务地址 |
开发
# 安装开发依赖
uv sync --dev
# 运行测试
uv run pytest
# 代码检查
uv run ruff check .
项目计划
许可证
MIT