simon/intl_news
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
20 Commits 1 Branch 3 Tags
main
Commit Graph
5 Commits
Author SHA1 Message Date
simon 3b44f64f66 refactor: 清理历史 AI Agent 文档残留 + 重构 docs/ + Pipeline 健壮性修复 
- docs: 删除 CLAUDE.md / continuation.md / english-news-plan.md 及旧版 intlnews_usage.*，
        统一迁移到 docs/{README,architecture,quickstart,usage,pipeline,configuration,deployment,development,faq}.md
- README: 精简为仓库入口，指向 docs/
- configs/sources.yaml: 更新注释指向新文档
- .env.example: 修正 DashScope Embedding 端点说明

Pipeline 修复：
- dedup/llm/embedding/vectorstore/reporter: 过滤 M2 no_content / 空正文，避免污染下游与 Qdrant
- dedup/pipeline: 改为先写唯一文件再写指纹，避免崩溃导致文章永久丢失
- crawler/orchestrator: sources_crawled 改为“尝试数”，成功数 = crawled - failed
- crawler/storage: write_index_jsonl 从文章路径推断日期，修复跨天/测试路径问题
- scheduler/pipeline: STEP_TIMEOUTS 实际生效（SIGALRM）
- scheduler/reporter: emb_count 排除 index.json；日报跳过无原文事件
- vectorstore/pipeline: payload 增加 source_ids；--recreate --all 时空日期也重建 collection
- app/cli: extract/dedup/translate/embed/index/pipeline 支持 --date；embed/index 支持 --all；crawl 全源失败返回非零
- scripts: domestic_full/crawl_8g/crawl_2g/pipeline 安全加载 .env；M1 全失败不标记且最终退出码=1
 2026-08-22 20:47:53 +08:00
simon 012cb615d3 feat: 脚本执行显性输出当前阶段与 AI 模型供应商/名称 
- pipeline.sh 每阶段 banner（━━━ M4 翻译+事件抽取（AI 大模型: deepseek / deepseek-v4-flash）━━━）
- ai_model_info() 从 system.yaml 读取场景模型（translation/daily_report/embedding）
- Python 层：M4/M5/日报 显性打印 provider/model（场景标注）
- 已同步 pi5 实测：客户端初始化日志含供应商/模型
 2026-08-12 11:20:51 +08:00
simon c72a5ed13a feat: AI 模型按场景独立配置（llm_scenes）+ 去重多来源合并 
- system.yaml 新增 llm_scenes（translation / daily_report，含用途/方法/模型要求说明）
- load_llm_config(scene=...) 场景覆盖；日报摘要 temperature 0.3 硬编码 → 配置
- M3 去重：唯一篇记录 source_ids（跨源重复合并，首个来源为 source_id）
- source_ids 经翻译透传至 events，日报事件 source 多来源拼接展示（≤3 个）
- 已部署 pi5：merge 实证 10 源合并；日报 report_id=224 正常入库
 2026-08-12 09:56:55 +08:00
simon 9aa44e610d feat: LLM/Embedding 重试次数纳入 system.yaml 统一配置 
- system.yaml: llm.max_retries(死配置) 改为 llm.max_attempts；embedding 段新增 max_attempts
- llm/client.py: LLMConfig 新增 max_attempts（默认 3 兜底），load_llm_config 读取配置
- llm/extractor.py: translate_and_extract(_async) max_attempts=None 时取 config.max_attempts
- embedding/client.py: load_embedding_config 读取 embedding.max_attempts
- scheduler/reporter.py: _call_llm_simple max_retries=None 时取 max_attempts-1
- 新增 2 个配置读取测试；已同步 pi5 验证
 2026-08-05 08:48:43 +08:00
simon fe8b417ab6 初始化 2026-07-18 16:13:52 +08:00