Files
news/.gitignore
T
simon 2b4efea219 feat: 增量处理与 pipeline 断点续跑
- M2 run_extractor: 产物存在即跳过提取(仅回补 index),--force 全量;
  增量成功率统计含跳过项,修复全跳过时误报失败
- M4 run_event_extraction: data/events/{day}/{url_hash}.json 已存在即跳过,
  不重复调用 LLM API;--force 全量;failed 只留本次失败
- M5 run_embedding: data/embeddings/{day}/{url_hash}.json 已存在即跳过,
  不重复调用 embed API;--force 全量
- scheduler/pipeline: 步骤结果按日期写入 data/pipeline/state.json(原子写),
  run_pipeline(resume=True) 从首个失败/未执行步骤续跑
- run_scheduler + a-share CLI: --once --resume 断点续跑(--steps 互斥)
- 新增 tests/test_incremental.py 10 个测试(跳过逻辑 + resume)
- .gitignore: 忽略 data/pipeline/ 运行状态
2026-08-12 10:19:27 +08:00

67 lines
732 B
Plaintext

# Python
__pycache__/
*.py[cod]
*$py.class
*.so
.Python
.venv/
venv/
env/
build/
dist/
*.egg-info/
*.egg
.eggs/
# uv
# uv.lock 应保留以锁定生产环境依赖版本(本项目为应用而非库)
# 测试 / 覆盖率
.pytest_cache/
.coverage
htmlcov/
.tox/
.mypy_cache/
.ruff_cache/
# IDE
.vscode/
.idea/
*.swp
*.swo
# OS
.DS_Store
Thumbs.db
# 工具本地配置(非项目文件)
reasonix.toml
# 项目敏感配置
.env
.env.local
.env.*.local
*.key
*.pem
# 运行产物
logs/*.log
logs/*.log.*
data/raw/
data/processed/
data/cache/
data/pipeline/
*.sqlite
*.sqlite3
*.db
# Docker 卷
qdrant_storage/
# 调试输出
debug/
tmp/
# M10: 历史日报源文件副本(可从 doorcome 重新拉取)
data/reports_history/