simon/intl_news
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
11 Commits 1 Branch 3 Tags
06b00b7f492e8afde1b4a91108ce5957c5c3eeac
Commit Graph
4 Commits
Author SHA1 Message Date
simon 06b00b7f49 feat: 全流程脚本 --resume 断点续跑 + 各步骤文件级增量说明 
- 新增 scripts/_step_state.sh：步骤状态库（data/run_state/{date}.state，按天换新）
- pipeline.sh / domestic_full.sh 支持 --resume，按步骤跳过已完成项
- step_run 显式检查退出码（规避 bash set -e 条件上下文陷阱），失败步骤不标记
- M1 保持部分源失败容忍（step_should_run/step_mark 手动控制）
- 确认并文档化各步骤文件级增量：M2/M4/M5 按文件存在跳过、M3 指纹库、M6 upsert 幂等
- 已同步 pi5 并验证（--badarg exit=1、step_run 机制正常）
 2026-08-12 11:06:29 +08:00
simon d4a55bcaaa feat: M9 日报结构化入库（HTML 改为写入 MySQL news_report/news_event，report_type=intl） 
- 新增 report_db/ 包（models/schema/db，复用 news 项目实现，幂等 upsert）
- reporter.py: _build_report_data + generate_report 写库返回 report_id
- pipeline/cli 适配 report_id 返回值；HTML 渲染/上传保留 deprecated
- 新增 tests/test_report_db.py；.env.example 增加 NEWS_DB_* 配置
- 已部署 pi5 并验证：真实生成 report_id=184（12 事件）+ 幂等覆盖
 2026-08-04 11:09:17 +08:00
simonandClaude 5c106120bf feat: 增强反爬策略 + forexlive 迁移 investinglive 
- crawler.py: 启用 magic/stealth 全自动反检测, --disable-webrtc,
  delay_before_return_html=3s, remove_consent_popups, 过滤列表页URL
- rss_crawler.py: 新增 _make_rss_client() 支持 httpx 代理,
  Google News RSS 跳过 article_url_pattern 域名过滤
- sources.yaml: investing.com 改用 Google News RSS 代理绕过Cloudflare;
  forexlive -> investinglive (域名已301重定向)
- domestic_crawl_8g.sh: HTTP_PROXY/HTTPS_PROXY 在 .env 加载前设置

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-23 09:25:23 +08:00
simon fe8b417ab6 初始化 2026-07-18 16:13:52 +08:00