docs: 更新大模型场景配置与去重多源记录说明

- README: 新增「大模型使用场景配置」章节(4 场景表+优先级),M3 去重产物补充
  sources.json 与多源记录说明,M4/M5 环境变量补充 YAML 指引
- continuation.md: checkpoint 更新,记录本次功能实现与验证结果
- .env.example: LLM Provider 段补充 configs/llm_models.yaml 指引
This commit is contained in:
2026-08-12 07:57:13 +08:00
parent 3c65701449
commit c1a803968a
3 changed files with 71 additions and 5 deletions
+39 -2
View File
@@ -1,6 +1,6 @@
# continuation.md
> `checkpoint` @ 2026-08-05 08:30
> `checkpoint` @ 2026-08-11 17:00
---
@@ -13,12 +13,49 @@
| 日报 | **M10 完成并已部署 pi5: 结构化入库 MySQL;日报按当天日期生成(新闻 30h 回溯 / xwlb 取前一日 / 公告调研近 15 日)** |
| DB 连接 | pi 上 systemd 服务 `a-share-db-tunnel` 常驻(0.0.0.0:13306 → doorcome.cn:3306);**pi5 直连 192.168.1.10:13306** |
| 调度器 | APScheduler,systemd `a-share-research.service`(pi5);每天 07:00 首次任务生成日报(12/18/22 点不生成) |
| LLM | `deepseek-v4-flash`(绝不允许擅自修改;模型必须显式配置,无内置兜底) |
| LLM | 场景化配置 `configs/llm_models.yaml`(4 场景: event_extraction/daily_report/stock_report/embedding);YAML 优先、`.env` 兜底;模型必须显式配置,无内置兜底 |
| 去重 | 多源记录:指纹库 `source_ids` 列 + uniques JSON `sources` 字段 + `data/deduped/{day}/sources.json` |
| 服务器 | `pi@192.168.1.160`(生产)/ `pi@192.168.1.10`(DB 隧道宿主) |
| 抓取方式 | js_render=false → httpx 直连;js_render=true → Playwright |
---
## 本次完成 (2026-08-11) — 大模型场景化配置 + 去重多源记录
**目标:** ① 梳理全部 AI 大模型使用点,新增 `configs/llm_models.yaml` 按场景独立配置 provider/model;② 去重时记录一条唯一新闻的全部来源。
**1. 大模型使用点梳理(共 4 个场景,详见 configs/llm_models.yaml 内注释):**
- `event_extraction`(M4 投资事件抽取,JSON mode,llm/extractor.py)
- `daily_report`(日报 AI 摘要,scheduler/reporter.py)
- `stock_report`(个股 AI 要点分析,scheduler/stock_reporter.py)
- `embedding`(向量化,dashscope 远程 / local-bge 本地,embedding/remote.py + local.py)
- 非使用点确认:crawler 纯抓取、MCP 仅复用 embedding、run_xwlb 抓外部「AI 精编」数据源
**2. 场景配置实现(优先级: CLI 显式参数 > YAML > .env > 内置默认):**
- 新增 `configs/loader.py`(lru_cache 读 llm_models.yaml)+ `configs/__init__.py`
- `llm/client.py`:`load_llm_config(scene=...)` 支持场景;`LLMConfig` 增加 `max_attempts`;模型缺失仍报错(无内置兜底)
- `llm/extractor.py`:`extract_event(_async)` 的 max_attempts 默认取 `config.max_attempts`
- `embedding/factory.py` + `remote.py` + `local.py`:provider/model/api_key_env/base_url_env/batch_limit 支持场景覆盖
- `scheduler/reporter.py`(daily_report)+ `stock_reporter.py`(stock_report):接入场景,temperature 取配置
- YAML 中 provider/model 默认留空 → 回退 .env,**现有部署零改动兼容**
**3. 去重多源记录:**
- `dedup/models.py`:`Fingerprint.source_ids`(validator 保主源居首+去重);`DedupResult` 增 `matched_source_id`/`all_source_ids`
- `dedup/store.py`:指纹库加 `source_ids` 列,旧库自动 ALTER 迁移,旧数据回退 `[source_id]`
- `dedup/deduper.py`:`ingest` 命中重复时把新源合并进匹配指纹
- `scripts/run_dedup.py`:uniques JSON 附加 `sources` 字段;重复命中时仅更新 sources 不覆盖原文;输出 `data/deduped/{day}/sources.json` 汇总
**验证(Mac 本地):**
- 全量 pytest:**215 passed**(仅 crawler 3 个 retry mock 失败为基线预存在问题,与本改动无关)
- 端到端人工构造 3 源同文:1 条唯一 + sources.json `["cls","eastmoney","sina"]` + 指纹库 source_ids 列正确
- ruff:9 个错误均为基线既有(crawler/cninfo.py 未用 import、reporter.py L5/L4 命名),本次零新增
**待办:**
- 生产同步:代码 + `configs/llm_models.yaml` scp 到 pi5(注意 rsync 排除规则含 configs/*.yaml,需显式同步),重启 `a-share-research` 生效
- 首次同步前 pi5 无 YAML → 全部回退 .env,行为不变,可平滑切换
---
## 本次完成 (2026-08-05) — 日报可靠性修复与取数逻辑优化
**目标:** 解决日报 AI 摘要偶发失败;修正日报日期与 xwlb/新闻取数语义。