feat: 全流程终端实时进度输出 + 步骤日志
- step_run 增加耗时统计(▶ 开始 / ✔ 完成 Ns / ✗ 失败 exit=N)与 STEP_LOG 支持 - domestic_full.sh / pipeline.sh 去掉 tail 截断,输出实时透传终端并 tee 到 logs/*.log - 退出码用 PIPESTATUS[0] 捕获(规避 pipefail/tee 吞码);全角标点后变量用花括号包裹 - 已同步 pi5 实测:M3 31s / M6 20s 耗时显示正常,日志文件生成
This commit is contained in:
@@ -175,6 +175,15 @@ ls -lt data/reports/
|
||||
- 步骤粒度:`M1_crawl` / `M2_extract` / `M3_dedup` / `M4_translate` / `M5_embed` / `M6_index` / `report`;某步失败不标记,`--resume` 从失败处重试
|
||||
- **文件级增量(各步骤内自动跳过已处理文件)**:M2 按 `data/processed/.../{url_hash}.json` 存在性、M3 按指纹库判重、M4 按 `data/events/.../{url_hash}.json` 存在性、M5 按 `data/embeddings/.../index.json`、M6 按 Qdrant upsert 幂等(点 id=url_hash)、日报按 MySQL 唯一键覆盖
|
||||
|
||||
### 终端进度与日志
|
||||
|
||||
执行全流程时,终端**实时显示完整进度**(每步 `▶ 开始` → 步骤内逐源/逐篇输出 → `✔ 完成(耗时 Ns)`,失败步骤显示 `✗` 与退出码),不再截断:
|
||||
|
||||
- `logs/domestic_full_{YYYYMMDD_HHMMSS}.log` — 全流程完整日志(M1 + 管道)
|
||||
- `logs/pipeline_{YYYYMMDD_HHMMSS}.log` — 管道步骤完整日志
|
||||
|
||||
日志文件已加入 `.gitignore`。
|
||||
|
||||
### 日报入库(M9)
|
||||
|
||||
日报内容结构化写入与 [news 项目](https://github.com/) 共用的 MySQL `myquant` 库(表 `news_report` / `news_event`,`report_type="intl"`,同一天重复生成幂等覆盖)。表结构与数据契约见 news 项目 `docs/db_schema.md`。
|
||||
|
||||
Reference in New Issue
Block a user