 simon
|
06b00b7f49
|
feat: 全流程脚本 --resume 断点续跑 + 各步骤文件级增量说明
- 新增 scripts/_step_state.sh：步骤状态库（data/run_state/{date}.state，按天换新）
- pipeline.sh / domestic_full.sh 支持 --resume，按步骤跳过已完成项
- step_run 显式检查退出码（规避 bash set -e 条件上下文陷阱），失败步骤不标记
- M1 保持部分源失败容忍（step_should_run/step_mark 手动控制）
- 确认并文档化各步骤文件级增量：M2/M4/M5 按文件存在跳过、M3 指纹库、M6 upsert 幂等
- 已同步 pi5 并验证（--badarg exit=1、step_run 机制正常）
|
2026-08-12 11:06:29 +08:00 |
|
|
simon
|
c72a5ed13a
|
feat: AI 模型按场景独立配置（llm_scenes）+ 去重多来源合并
- system.yaml 新增 llm_scenes（translation / daily_report，含用途/方法/模型要求说明）
- load_llm_config(scene=...) 场景覆盖；日报摘要 temperature 0.3 硬编码 → 配置
- M3 去重：唯一篇记录 source_ids（跨源重复合并，首个来源为 source_id）
- source_ids 经翻译透传至 events，日报事件 source 多来源拼接展示（≤3 个）
- 已部署 pi5：merge 实证 10 源合并；日报 report_id=224 正常入库
|
2026-08-12 09:56:55 +08:00 |
|
|
simon
|
d4a55bcaaa
|
feat: M9 日报结构化入库（HTML 改为写入 MySQL news_report/news_event，report_type=intl）
- 新增 report_db/ 包（models/schema/db，复用 news 项目实现，幂等 upsert）
- reporter.py: _build_report_data + generate_report 写库返回 report_id
- pipeline/cli 适配 report_id 返回值；HTML 渲染/上传保留 deprecated
- 新增 tests/test_report_db.py；.env.example 增加 NEWS_DB_* 配置
- 已部署 pi5 并验证：真实生成 report_id=184（12 事件）+ 幂等覆盖
|
2026-08-04 11:09:17 +08:00 |
|
 simonandClaude
|
f0adf713b7
|
docs: 更新 continuation.md 2026-07-23 会话记录
- investing.com 反爬策略调整（Google News RSS + magic/stealth）
- forexlive→investinglive 迁移
- 各源抓取状态表更新
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-23 09:26:53 +08:00 |
|
|
simon
|
fe8b417ab6
|
初始化
|
2026-07-18 16:13:52 +08:00 |
|