91 lines
1.9 KiB
Markdown
91 lines
1.9 KiB
Markdown
# English Financial News
|
||
|
||
国际财经新闻抓取与深度研究平台。
|
||
|
||
## 核心能力
|
||
|
||
- **M1** 英文财经新闻抓取（Crawl4AI，12 个源，部署海外）
|
||
- **M2** 英文正文提取（trafilatura）
|
||
- **M3** 三层去重（URL Hash / 内容 Hash / SimHash 模糊）
|
||
- **M4** 全文英译中 + 投资事件抽取（LLM DeepSeek）
|
||
- **M5** 向量生成（DashScope text-embedding-v3）
|
||
- **M6** 双语向量知识库（Qdrant）
|
||
- **M7** 定时调度 + 每日 AI 摘要日报
|
||
- **M8** MCP 服务（Cherry Studio / Claude Code Agent）
|
||
|
||
## 部署架构
|
||
|
||
```
|
||
海外服务器 国内服务器
|
||
M1 抓取 ──rsync──▶ M2→M3→M4→M5→M6
|
||
↓
|
||
日报 + M7 调度
|
||
↓
|
||
M8 MCP 服务
|
||
```
|
||
|
||
## 快速开始
|
||
|
||
### 环境要求
|
||
|
||
- Python 3.11
|
||
- uv
|
||
|
||
### 安装
|
||
|
||
```bash
|
||
# 创建虚拟环境并安装依赖
|
||
uv sync
|
||
|
||
# 配置环境变量
|
||
cp .env.example .env
|
||
# 编辑 .env 填入真实 API Key
|
||
```
|
||
|
||
### CLI 命令
|
||
|
||
```
|
||
uv run en-news --help
|
||
|
||
# 子命令
|
||
uv run en-news crawl # M1 抓取
|
||
uv run en-news extract # M2 提取
|
||
uv run en-news dedup # M3 去重
|
||
uv run en-news translate # M4 翻译+事件抽取
|
||
uv run en-news embed # M5 向量生成
|
||
uv run en-news index # M6 Qdrant 入库
|
||
uv run en-news search "..." # M6 语义检索
|
||
uv run en-news report # 日报生成
|
||
uv run en-news pipeline # 一键管道
|
||
uv run en-news mcp-server # M8 MCP 服务
|
||
```
|
||
|
||
## 配置
|
||
|
||
| 文件 | 用途 |
|
||
|------|------|
|
||
| `configs/sources.yaml` | 英文财经新闻源定义 |
|
||
| `configs/system.yaml` | 系统级业务参数 |
|
||
| `.env` | 密钥 / 服务地址 |
|
||
|
||
## 开发
|
||
|
||
```bash
|
||
# 安装开发依赖
|
||
uv sync --dev
|
||
|
||
# 运行测试
|
||
uv run pytest
|
||
|
||
# 代码检查
|
||
uv run ruff check .
|
||
```
|
||
|
||
## 项目计划
|
||
|
||
详见 [english-news-plan.md](english-news-plan.md)
|
||
|
||
## 许可证
|
||
|
||
MIT
|