simon 2eaea2ee81 fix: cninfo 抓取限制浏览器并发,修复整机冻结 (06:00 任务压穿内存) ...

根因: _render_page 每次新建完整 headless Chromium(实测 857MB/实例),
crawl_watchlist 对 15 只股票全量并发 → 峰值需求 ≈12.5GB ≫ 7.9GB RAM,
2026-09-06/08/10 三次 06:0x 整机冻结(load 65 → 看门狗复位)。

- crawler/cninfo.py: 新增 MAX_RENDER_CONCURRENCY(默认 2,env 可配)
  + 模块级 _render_sem 信号量,渲染全程持槽;顺带清理 3 个死导入
- tests/test_cninfo.py: 新增 8 个(并发上限/串行/异常释放/env 解析)
- 实测: 峰值 1796MB / 22 进程 / load 2.75 / 耗时 441s(上限 900s)
- 全量 291 passed

2026-09-10 20:54:30 +08:00

..

fixtures

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

__init__.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

conftest.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_cli.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_cninfo.py

fix: cninfo 抓取限制浏览器并发,修复整机冻结 (06:00 任务压穿内存)

2026-09-10 20:54:30 +08:00

test_crawler.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_dedup.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_embedding.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_extractor.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_incremental.py

fix: 修复补跑误含 cninfo 三步与时区不一致 (P1-2/P1-3)

2026-08-23 05:40:52 +08:00

test_llm.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_mcp.py

fix: 修正 .mcp.json 为本项目 MCP 配置 + 补充多源展示测试

2026-09-01 17:35:08 +08:00

test_multisource.py

fix: 回填脚本改为定向回填多源 point(本地模式全量不可行)

2026-08-22 22:39:10 +08:00

test_report_builder.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_report_db.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_report_import.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_report_parser.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00

test_run_dedup.py

fix: 修复 dedup 高重复率返回码被掩蔽的问题 (P1-1)

2026-08-22 19:50:14 +08:00

test_run_xwlb.py

fix: 修复 xwlb 日期错位与重复行问题(方案 A)

2026-08-22 19:11:32 +08:00

test_scheduler.py

fix: 修复补跑历史日期的静默空转与日报日期错位 (P0-3/P0-4)

2026-08-22 19:20:21 +08:00

test_vectorstore.py

docs: 文档清理与重构 — 统一为 3 个核心文档

2026-08-22 17:10:39 +08:00