 simon
|
01bb2e5cfb
|
docs: 增量处理与断点续跑说明与效果评估
- README: M7 章节新增「增量处理与断点续跑」(各步骤增量机制表、
--force/--resume 用法、data/pipeline/state.json 说明、实测效果)
- continuation.md: checkpoint 更新,记录本次实现、验证与效果评估
(M4/M5 各减少约 100 次 API 调用、M2 重跑降至 2.5s)
|
2026-08-12 10:19:30 +08:00 |
|
|
simon
|
c1a803968a
|
docs: 更新大模型场景配置与去重多源记录说明
- README: 新增「大模型使用场景配置」章节(4 场景表+优先级),M3 去重产物补充
sources.json 与多源记录说明,M4/M5 环境变量补充 YAML 指引
- continuation.md: checkpoint 更新,记录本次功能实现与验证结果
- .env.example: LLM Provider 段补充 configs/llm_models.yaml 指引
|
2026-08-12 07:57:13 +08:00 |
|
|
simon
|
2f2428aa9a
|
fix: 日报摘要可靠性(去模型兜底+重试) 与取数逻辑优化
- llm/client: 移除内置默认模型兜底(deepseek-chat/qwen-plus), 模型必须显式配置否则报错
- reporter._llm_call: 指数退避重试(LLM_RETRY_TIMES 默认3 / LLM_RETRY_BACKOFF_SEC 默认2s)
- pipeline report: report_date 改为当天(原昨天+回溯3天)
- reporter._collect_news_events: 读当天+前一天目录, publish_time 30h 回溯(NEWS_LOOKBACK_HOURS=30), 统一时区
- reporter._collect_xwlb: 固定取 day_str 前一日(已播出联播), source_date 同步
- 公告/调研/互动保持近15日设置(CNINFO_DAYS_BACK), 不受 30h 影响
- 测试: 新增 30h回溯/带时区/重试/模型缺失/xwlb 前一日 用例
|
2026-08-05 08:34:02 +08:00 |
|
|
simon
|
366e60e8a9
|
feat: 日报结构化入库（M10 前后端分离数据层）
- 新增 report_db 包: MySQL 连接/建表/幂等写入 (news_report/news_event, myquant 库)
- 新增 report_import 包: 历史 178 份日报 HTML 解析入库, 表头驱动列映射
- reporter.py 完全切换: generate_report 结构化入库, 不再生成/上传 HTML
- CLI: 新增 report-import 子命令
- 依赖: uv add pymysql; 配置: NEWS_DB_* / REPORT_HISTORY_DIR
- 文档: docs/report_db_design.md(实现逻辑), docs/db_schema.md(表结构供 API/前端)
- 测试: 24 个单测通过 (parser/builder/models/importer)
|
2026-08-03 21:32:07 +08:00 |
|
|
simon
|
f2c80c5a9c
|
Initial commit
|
2026-07-18 15:51:01 +08:00 |
|