intl_news

20 Commits 1 Branch 3 Tags

3 Commits

Include renames

Author	SHA1	Message	Date
simon	c1ab751d95	feat: 日报改为每日一次 + 新增 LLM 使用/成本/缓存文档 - domestic_full.sh / pipeline.sh 新增 --no-report 参数：跳过日报生成，保持 M1 抓取 + M2→M6 管道不变，用于 12:00/18:00 只抓不生成日报 - crontab: 07:00 全量含日报，12:00/18:00 --no-report（日报每日一次，降低 LLM 费用） - docs/llm-models.md: 各 LLM 调用点分别用的 provider/model 事实清单 - docs/llm-cost-analysis.md: 真实 token 消耗与费用构成、降本建议 - docs/llm-cache-optimization.md: DeepSeek 上下文缓存机制与命中率提升设计 - docs/README.md 增加上述三个文档索引	2026-09-04 10:38:33 +08:00
simon	cf74e5e7f5	docs: 记录已验证的 Gitea 提交与推送方式	2026-08-22 21:57:24 +08:00
simon	3b44f64f66	refactor: 清理历史 AI Agent 文档残留 + 重构 docs/ + Pipeline 健壮性修复 - docs: 删除 CLAUDE.md / continuation.md / english-news-plan.md 及旧版 intlnews_usage.*，统一迁移到 docs/{README,architecture,quickstart,usage,pipeline,configuration,deployment,development,faq}.md - README: 精简为仓库入口，指向 docs/ - configs/sources.yaml: 更新注释指向新文档 - .env.example: 修正 DashScope Embedding 端点说明 Pipeline 修复： - dedup/llm/embedding/vectorstore/reporter: 过滤 M2 no_content / 空正文，避免污染下游与 Qdrant - dedup/pipeline: 改为先写唯一文件再写指纹，避免崩溃导致文章永久丢失 - crawler/orchestrator: sources_crawled 改为“尝试数”，成功数 = crawled - failed - crawler/storage: write_index_jsonl 从文章路径推断日期，修复跨天/测试路径问题 - scheduler/pipeline: STEP_TIMEOUTS 实际生效（SIGALRM） - scheduler/reporter: emb_count 排除 index.json；日报跳过无原文事件 - vectorstore/pipeline: payload 增加 source_ids；--recreate --all 时空日期也重建 collection - app/cli: extract/dedup/translate/embed/index/pipeline 支持 --date；embed/index 支持 --all；crawl 全源失败返回非零 - scripts: domestic_full/crawl_8g/crawl_2g/pipeline 安全加载 .env；M1 全失败不标记且最终退出码=1	2026-08-22 20:47:53 +08:00

Author

SHA1

Message

Date

simon

c1ab751d95

feat: 日报改为每日一次 + 新增 LLM 使用/成本/缓存文档

- domestic_full.sh / pipeline.sh 新增 --no-report 参数：跳过日报生成，
  保持 M1 抓取 + M2→M6 管道不变，用于 12:00/18:00 只抓不生成日报
- crontab: 07:00 全量含日报，12:00/18:00 --no-report（日报每日一次，降低 LLM 费用）
- docs/llm-models.md: 各 LLM 调用点分别用的 provider/model 事实清单
- docs/llm-cost-analysis.md: 真实 token 消耗与费用构成、降本建议
- docs/llm-cache-optimization.md: DeepSeek 上下文缓存机制与命中率提升设计
- docs/README.md 增加上述三个文档索引

2026-09-04 10:38:33 +08:00

simon

cf74e5e7f5

docs: 记录已验证的 Gitea 提交与推送方式

2026-08-22 21:57:24 +08:00

simon

3b44f64f66

refactor: 清理历史 AI Agent 文档残留 + 重构 docs/ + Pipeline 健壮性修复

- docs: 删除 CLAUDE.md / continuation.md / english-news-plan.md 及旧版 intlnews_usage.*，
        统一迁移到 docs/{README,architecture,quickstart,usage,pipeline,configuration,deployment,development,faq}.md
- README: 精简为仓库入口，指向 docs/
- configs/sources.yaml: 更新注释指向新文档
- .env.example: 修正 DashScope Embedding 端点说明

Pipeline 修复：
- dedup/llm/embedding/vectorstore/reporter: 过滤 M2 no_content / 空正文，避免污染下游与 Qdrant
- dedup/pipeline: 改为先写唯一文件再写指纹，避免崩溃导致文章永久丢失
- crawler/orchestrator: sources_crawled 改为“尝试数”，成功数 = crawled - failed
- crawler/storage: write_index_jsonl 从文章路径推断日期，修复跨天/测试路径问题
- scheduler/pipeline: STEP_TIMEOUTS 实际生效（SIGALRM）
- scheduler/reporter: emb_count 排除 index.json；日报跳过无原文事件
- vectorstore/pipeline: payload 增加 source_ids；--recreate --all 时空日期也重建 collection
- app/cli: extract/dedup/translate/embed/index/pipeline 支持 --date；embed/index 支持 --all；crawl 全源失败返回非零
- scripts: domestic_full/crawl_8g/crawl_2g/pipeline 安全加载 .env；M1 全失败不标记且最终退出码=1

2026-08-22 20:47:53 +08:00