 simon
|
9aa44e610d
|
feat: LLM/Embedding 重试次数纳入 system.yaml 统一配置
- system.yaml: llm.max_retries(死配置) 改为 llm.max_attempts；embedding 段新增 max_attempts
- llm/client.py: LLMConfig 新增 max_attempts（默认 3 兜底），load_llm_config 读取配置
- llm/extractor.py: translate_and_extract(_async) max_attempts=None 时取 config.max_attempts
- embedding/client.py: load_embedding_config 读取 embedding.max_attempts
- scheduler/reporter.py: _call_llm_simple max_retries=None 时取 max_attempts-1
- 新增 2 个配置读取测试；已同步 pi5 验证
m9-max-attempts
|
2026-08-05 08:48:43 +08:00 |
|
|
simon
|
d4a55bcaaa
|
feat: M9 日报结构化入库（HTML 改为写入 MySQL news_report/news_event，report_type=intl）
- 新增 report_db/ 包（models/schema/db，复用 news 项目实现，幂等 upsert）
- reporter.py: _build_report_data + generate_report 写库返回 report_id
- pipeline/cli 适配 report_id 返回值；HTML 渲染/上传保留 deprecated
- 新增 tests/test_report_db.py；.env.example 增加 NEWS_DB_* 配置
- 已部署 pi5 并验证：真实生成 report_id=184（12 事件）+ 幂等覆盖
m9-report-db
|
2026-08-04 11:09:17 +08:00 |
|
 simonandClaude
|
e1ec5f836d
|
docs: intlnews_usage.html 移至 docs/ + 上传到 doorcome
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-23 09:30:15 +08:00 |
|
|
simonandClaude
|
b2aa62dfa5
|
docs: 新增 intlnews_usage.html 操作手册
网页版操作手册包含：部署指南、操作命令、新闻源状态、
数据存储、MCP 服务、配置参考、排障指南、变更记录
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-23 09:29:36 +08:00 |
|
|
simonandClaude
|
ea472c8bf8
|
docs: 更新 README 操作手册
- 13 个源清单及状态表
- 部署架构图更新（海外服务器已停用）
- Pi 前置条件/操作命令/常见问题
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-23 09:27:59 +08:00 |
|
|
simonandClaude
|
f0adf713b7
|
docs: 更新 continuation.md 2026-07-23 会话记录
- investing.com 反爬策略调整（Google News RSS + magic/stealth）
- forexlive→investinglive 迁移
- 各源抓取状态表更新
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-23 09:26:53 +08:00 |
|
|
simonandClaude
|
5c106120bf
|
feat: 增强反爬策略 + forexlive 迁移 investinglive
- crawler.py: 启用 magic/stealth 全自动反检测, --disable-webrtc,
delay_before_return_html=3s, remove_consent_popups, 过滤列表页URL
- rss_crawler.py: 新增 _make_rss_client() 支持 httpx 代理,
Google News RSS 跳过 article_url_pattern 域名过滤
- sources.yaml: investing.com 改用 Google News RSS 代理绕过Cloudflare;
forexlive -> investinglive (域名已301重定向)
- domestic_crawl_8g.sh: HTTP_PROXY/HTTPS_PROXY 在 .env 加载前设置
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-23 09:25:23 +08:00 |
|
|
simon
|
fe8b417ab6
|
初始化
|
2026-07-18 16:13:52 +08:00 |
|
|
simon
|
c0070f0a5c
|
Initial commit
|
2026-07-18 16:11:58 +08:00 |
|