docs: 更新大模型场景配置与去重多源记录说明

- README: 新增「大模型使用场景配置」章节(4 场景表+优先级),M3 去重产物补充
  sources.json 与多源记录说明,M4/M5 环境变量补充 YAML 指引
- continuation.md: checkpoint 更新,记录本次功能实现与验证结果
- .env.example: LLM Provider 段补充 configs/llm_models.yaml 指引
This commit is contained in:
2026-08-12 07:57:13 +08:00
parent 3c65701449
commit c1a803968a
3 changed files with 71 additions and 5 deletions
+31 -3
View File
@@ -209,12 +209,34 @@ uv run python -m scripts.run_dedup --reset
去重产物路径:
- `data/dedup/fingerprints.sqlite3` 指纹库(跨日累积)
- `data/deduped/{YYYYMMDD}/uniques/{url_hash}.json` 唯一文章(可送 M4+ 处理)
- `data/deduped/{YYYYMMDD}/duplicates.jsonl` 重复记录(含命中层 / 命中目标)
- `data/dedup/fingerprints.sqlite3` 指纹库(跨日累积,`source_ids` 列记录多源)
- `data/deduped/{YYYYMMDD}/uniques/{url_hash}.json` 唯一文章(可送 M4+ 处理,含 `sources` 多源字段)
- `data/deduped/{YYYYMMDD}/sources.json` 多源记录 `{url_hash: [source_id, ...]}`
- `data/deduped/{YYYYMMDD}/duplicates.jsonl` 重复记录(含命中层 / 命中目标 / matched_source_ids)
**多源记录**:同一内容被多个新闻源发布时,去重后只保留一条唯一新闻,但会记录全部来源
(主源居首)。指纹库 `source_ids` 列为跨日累积的权威记录;`uniques/{url_hash}.json` 的
`sources` 字段与 `data/deduped/{YYYYMMDD}/sources.json`(本次去重涉及内容组的源汇总,
含跨日命中)为当日产物,展示/下游可按需读取多源列表。
日志:`logs/dedup.log`
### 大模型使用场景配置(configs/llm_models.yaml)
项目共 4 个调用大模型的场景,均可独立配置 provider / model,见 `configs/llm_models.yaml`
(文件内有每个场景的用途、使用方式、对模型的要求的完整说明):
| 场景 key | 用途 | 调用方 | 模型要求 |
| --- | --- | --- | --- |
| `event_extraction` | 投资事件抽取(输出严格 JSON) | M4 `llm/extractor.py` | OpenAI 兼容 + JSON mode + 上下文 ≥16K |
| `daily_report` | 日报 AI 摘要(500 字要点) | `scheduler/reporter.py` | 长输出(≥1500 tokens)、中文摘要 |
| `stock_report` | 个股 AI 要点分析 | `scheduler/stock_reporter.py` | 长输出(≥500 tokens)、要点化 |
| `embedding` | 文本向量化(入库/检索) | M5、MCP、pipeline | 嵌入模型,1024 维,dashscope / local-bge |
配置优先级:**CLI 显式参数 > YAML 场景 > .env 环境变量 > 代码默认**。
YAML 中字段留空即回退 `.env`(向后兼容,现有部署无需改动即可运行)。
API Key 一律放 `.env`,YAML 只保存环境变量名(`api_key_env`)。
### 运行 LLM 事件抽取(M4)
M4 调用 DeepSeek 或 Qwen,从 M3 唯一文章中抽取结构化投资事件(stock_codes/sentiment/importance/event_type 等)。
@@ -253,6 +275,9 @@ uv run python -m scripts.run_event_extraction --no-deduped --source cls
- `DEEPSEEK_API_KEY` / `DEEPSEEK_BASE_URL`
- `DASHSCOPE_API_KEY` / `QWEN_BASE_URL`
> 注:以上环境变量作为兜底;按场景独立配置 provider/model 推荐使用
> `configs/llm_models.yaml`(见上文「大模型使用场景配置」)。
日志:`logs/llm.log`
### 运行 Embedding 向量化(M5)
@@ -288,6 +313,9 @@ uv run python -m scripts.run_embedding --provider local-bge
- `LOCAL_EMBEDDING_MODEL` 本地模型(默认 `BAAI/bge-m3`)
- `DASHSCOPE_API_KEY` / `QWEN_BASE_URL`(M4 已配)
> 注:以上环境变量作为兜底;embedding 场景的 provider/model 也可在
> `configs/llm_models.yaml` 的 `scenes.embedding` 中配置(优先级更高)。
日志:`logs/embedding.log`
### 运行 Qdrant 入库与检索(M6)