diff --git a/README.md b/README.md index 3776888..1f7069d 100644 --- a/README.md +++ b/README.md @@ -175,6 +175,15 @@ ls -lt data/reports/ - 步骤粒度:`M1_crawl` / `M2_extract` / `M3_dedup` / `M4_translate` / `M5_embed` / `M6_index` / `report`;某步失败不标记,`--resume` 从失败处重试 - **文件级增量(各步骤内自动跳过已处理文件)**:M2 按 `data/processed/.../{url_hash}.json` 存在性、M3 按指纹库判重、M4 按 `data/events/.../{url_hash}.json` 存在性、M5 按 `data/embeddings/.../index.json`、M6 按 Qdrant upsert 幂等(点 id=url_hash)、日报按 MySQL 唯一键覆盖 +### 终端进度与日志 + +执行全流程时,终端**实时显示完整进度**(每步 `▶ 开始` → 步骤内逐源/逐篇输出 → `✔ 完成(耗时 Ns)`,失败步骤显示 `✗` 与退出码),不再截断: + +- `logs/domestic_full_{YYYYMMDD_HHMMSS}.log` — 全流程完整日志(M1 + 管道) +- `logs/pipeline_{YYYYMMDD_HHMMSS}.log` — 管道步骤完整日志 + +日志文件已加入 `.gitignore`。 + ### 日报入库(M9) 日报内容结构化写入与 [news 项目](https://github.com/) 共用的 MySQL `myquant` 库(表 `news_report` / `news_event`,`report_type="intl"`,同一天重复生成幂等覆盖)。表结构与数据契约见 news 项目 `docs/db_schema.md`。 diff --git a/continuation.md b/continuation.md index 1861d40..8655a61 100644 --- a/continuation.md +++ b/continuation.md @@ -4,6 +4,24 @@ --- +## 2026-08-12 会话成果(三):全流程终端进度输出 + +**背景:** `domestic_full.sh` / `pipeline.sh` 原用 `tail -5/-10` 截断输出,终端看不到中间进度。 + +**改动:** + +| 文件 | 改动内容 | +|------|---------| +| `scripts/_step_state.sh` | `step_run` 增加耗时统计与进度日志(`▶ 开始` / `✔ 完成(耗时 Ns)` / `✗ 失败(exit=N,耗时)`);支持 `STEP_LOG` 环境变量——步骤全部输出实时显示终端并同时写入日志(用 `PIPESTATUS[0]` 取原命令退出码,规避 pipefail/tee 吞退出码) | +| `scripts/pipeline.sh` | 步骤输出透传终端(去掉 `tail -10`);日志写 `logs/pipeline_{ts}.log` | +| `scripts/domestic_full.sh` | M1 与管道输出透传终端(去掉 `tail -5/-10`);日志写 `logs/domestic_full_{ts}.log` | + +**测试:** 无 pipefail / pipefail+条件 / pipefail+非条件 三环境下退出码捕获均正确(失败不 mark);pi5 实机 `--resume` 跑通(M3 31s、M6 20s 均显示耗时,日志文件生成)。 + +**注意:** 所有含 `${var}` 后跟全角标点的输出已用花括号包裹(bash 会把全角字符字节并入变量名,导致 unbound variable)。 + +--- + ## 2026-08-12 会话成果(二):全流程 --resume 断点续跑 **背景:** `scripts/domestic_full.sh`(M1→M6→日报)中断(ssh 断线/断电)后只能从头重跑。 diff --git a/scripts/_step_state.sh b/scripts/_step_state.sh index ed97f35..0c49f1f 100644 --- a/scripts/_step_state.sh +++ b/scripts/_step_state.sh @@ -44,17 +44,31 @@ step_run() { # $1: 步骤名,$2...: 要执行的命令(成功后标记完成) # 显式检查退出码:避免 bash set -e 在条件上下文(&&/||)调用函数时失效, # 导致失败步骤被误标记为完成。 + # 设置环境变量 STEP_LOG=路径 时,步骤全部输出同时写入该日志(终端仍实时显示)。 local name="$1" shift if ! step_should_run "$name"; then return 0 fi - LOG "▶ $name" - "$@" - local rc=$? + local t0 rc t1 + t0=$(date +%s) + LOG "▶ $name 开始" + # 显式取原命令退出码(PIPESTATUS[0]): + # - 无 pipefail 时管道码=tee 码(0),必须用 PIPESTATUS 还原真实结果; + # - pipefail + 非条件上下文时失败会触发 set -e 直接退出(此时不 mark,正确); + # - 条件上下文调用时 set -e 被抑制,这里仍能正确捕获并 return。 + if [ -n "${STEP_LOG:-}" ]; then + "$@" 2>&1 | tee -a "$STEP_LOG" + rc=${PIPESTATUS[0]} + else + "$@" + rc=$? + fi + t1=$(date +%s) if [ "$rc" -ne 0 ]; then - LOG "✗ $name 失败(exit=$rc),未标记完成;可 --resume 重试该步骤" + LOG "✗ ${name} 失败(exit=${rc},耗时 $((t1 - t0))s);未标记完成,可 --resume 重试" return "$rc" fi + LOG "✔ $name 完成(耗时 $((t1 - t0))s)" step_mark "$name" } diff --git a/scripts/domestic_full.sh b/scripts/domestic_full.sh index 9e405ea..7da0d05 100755 --- a/scripts/domestic_full.sh +++ b/scripts/domestic_full.sh @@ -30,26 +30,34 @@ source "$SCRIPT_DIR/_step_state.sh" LOG() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*"; } +# ── 全流程日志:所有输出实时显示到终端,同时完整写入日志文件 ── +LOG_DIR="logs" +mkdir -p "$LOG_DIR" +FULL_LOG="$LOG_DIR/domestic_full_$(date +%Y%m%d_%H%M%S).log" +: > "$FULL_LOG" + LOG "══════ 国内全流程开始(resume=${RESUME})═══════" +LOG "全流程日志: ${FULL_LOG}(终端实时显示完整进度)" # ── 加载 .env ── export $(grep -v '^#' .env | grep -v '^$' | xargs 2>/dev/null || true) # ── 1. M1 Pi 抓取(headful Playwright + HTTP 代理)── # 部分源抓取失败不阻塞管道(原语义);抓取本身按 URL 去重(index.jsonl), -# 已抓取过的 URL 不会重复写入 +# 已抓取过的 URL 不会重复写入;输出实时显示每源进度 if step_should_run M1_crawl; then LOG "[1/2] Pi M1 抓取(8G headful + HTTP 代理)..." - bash "$SCRIPT_DIR/domestic_crawl_8g.sh" 2>&1 | tail -5 || LOG "WARNING: 部分源抓取失败,继续管道" + bash "$SCRIPT_DIR/domestic_crawl_8g.sh" 2>&1 | tee -a "$FULL_LOG" \ + || LOG "WARNING: 部分源抓取失败,继续管道" step_mark M1_crawl fi # ── 2. M2→M6 管道(含日报)── LOG "[2/2] 全链路管道..." if [ "$RESUME" = "1" ]; then - bash "$SCRIPT_DIR/pipeline.sh" --resume 2>&1 | tail -10 + bash "$SCRIPT_DIR/pipeline.sh" --resume 2>&1 | tee -a "$FULL_LOG" else - bash "$SCRIPT_DIR/pipeline.sh" 2>&1 | tail -10 + bash "$SCRIPT_DIR/pipeline.sh" 2>&1 | tee -a "$FULL_LOG" fi LOG "══════ 国内全流程完成 ✅ ══════" diff --git a/scripts/pipeline.sh b/scripts/pipeline.sh index 832f4b1..e8c0d83 100755 --- a/scripts/pipeline.sh +++ b/scripts/pipeline.sh @@ -35,7 +35,13 @@ source "$SCRIPT_DIR/_step_state.sh" LOG() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*"; } +# ── 步骤日志:全部输出实时显示到终端,同时完整写入日志文件 ── +LOG_DIR="logs" +mkdir -p "$LOG_DIR" +STEP_LOG="$LOG_DIR/pipeline_$(date +%Y%m%d_%H%M%S).log" +: > "$STEP_LOG" LOG "══════ 全链路管道开始(resume=${RESUME})═══════" +LOG "步骤日志: ${STEP_LOG}(终端实时显示完整进度)" # 加载 .env export $(grep -v '^#' .env | grep -v '^$' | xargs 2>/dev/null || true)