simon
cf6d4d2c56
说明：本提交是工作区中此前的未提交工作（在 14ec0c6 之后产生），**非本次会话所写**，
按用户要求整理并推送。已做安全检查（无明文凭据、无大文件、.env/logs/output 仍被忽略），
并完成可执行范围内的测试验证（见「测试」一节）。
## 新增能力
1) `hdiv backtest --mode daily --start <日期>`
- src/hdiv/backtest/daily.py：两趟式（先逐日选股，再复用既有引擎模拟）
- 每个交易日按当日可见数据重建股票池（PIT），每个交易日判断买卖点
- `pool_exit_action`：hold（只减不加、不因掉出池子而清仓）/ sell（掉出即清仓）
- `profile_on_trade`：买卖决策发生时计算并留痕个股画像，**不区分是否在当日池内**
（卖出/减仓同样留痕，否则「为什么卖」缺证据）
- 与 walkforward 的分工：daily 是一条连续路径的推演，不是过拟合检验；
因此不使用训练段、不冻结分布，阈值口径一律 rolling
- 拒绝 `--universe-run`（daily 的定义就是逐日重筛，冻结池与之矛盾）
2) PIT 批量取数层 src/hdiv/universe/pit.py
- PitRepo 继承 Repo，**只重写取数**（按区块批量预载 + 逐日内存切片），
派生逻辑（最新一期财报合并、单位归一化、支付率口径等）一行不重写
—— 以保证与逐日单点查询**结果等价**
- 候选集预剪枝：用「不可能通过」的边界条件提前排除，文档论证为精确等价而非近似
- src/hdiv/universe/daily.py：每日动态筛选器（仍然调用既有 selector 与四个 Filter）
3) 每日增量同步 `hdiv sync daily`
- src/hdiv/data/sync/daily.py：只抓「库里还没有的那几天」，
按「当日股票数 ≥ 当年规模阈值」判定缺口，不重拉历史、不覆盖既有行；
支持 `--dry-run` 先看待抓清单
- deploy/daily-sync.sh、deploy/install-sync-schedule.sh、
deploy/com.hddiv.sync.plist.example（launchd 每天 17:00）
- 新表 hd_daily_universe（逐日入选成员留痕）+ sql/hd_daily_universe.sql + schema.py
（该表已存在于库中，`ddl plan` 返回 0 个待执行动作）
4) Web 与文档
- 前端支持 daily 模式记录下钻（web/app.js、web/app.css、web/index.html、
web/favicon.svg）
- README / docs/user-guide.md / docs/implementation-status.md 同步更新：
三种回测模式的取舍、daily 的成本说明（6.7 年约 1.5 小时）与调优手段
## 测试
tests/ 共 500 项（新增 tests/test_daily.py 43 项、tests/test_sync_daily.py 36 项）。
已验证通过：
- 排除上述两个新文件的 **421 项：全部通过（pytest 退出码 0）**
- 两个新文件的**非 DB 单元测试 60 项：全部通过**
未能在合理时间内跑完：
- 两个新文件中 **19 项 DB 标记的重型测试**。实测瓶颈是一条**无界全表扫描**：
`SELECT ... FROM hd_cashflow WHERE ann_date <= :asof ORDER BY symbol, end_date, ann_date`
（31 万行，无 symbol/报告期下限）。全量套件跑到 161 项时已耗时 20 分钟、
0 失败，按该速率预计需 3 小时以上，因此改为分档验证。
- 旁证：库中存在 3 次成功的 daily 端到端运行（2026-10-05 10:05 / 10:32 / 11:03，
区间 2024-03-01~03-15），说明该路径可正常完成。
## 已知待改进
- 上述 `hd_cashflow`（及同类「按 ann_date 上界取全历史」）的查询缺
symbol / 报告期下限，是 daily 模式的主要性能瓶颈，建议下一轮优化。
68 lines
2.7 KiB
Bash
Executable File
68 lines
2.7 KiB
Bash
Executable File
#!/usr/bin/env bash
|
|
# ============================================================
|
|
# 每日增量数据抓取（「缺几天就抓几天」）
|
|
#
|
|
# 用法：
|
|
# ./deploy/daily-sync.sh # 抓全部目标
|
|
# ./deploy/daily-sync.sh --dry-run # 只看待抓清单，不调用接口
|
|
# ./deploy/daily-sync.sh --only price # 只补行情
|
|
#
|
|
# 由 launchd 在每天 17:00 调用（见 deploy/install-sync-schedule.sh），
|
|
# 也可以手工执行排障。退出码：0 = 全部成功；1 = 至少一个目标失败。
|
|
#
|
|
# 为什么锁 + 日志轮转是必需的：
|
|
# - 重叠运行：Tushare 限频是按接口算的，两个实例互相抢额度会让两边都变慢，
|
|
# 还会把同一天的数据写两遍（幂等，但纯属浪费）。用 pid 锁直接跳过；
|
|
# - 日志只增不减：每天一条，一年就是几百 KB 到数 MB，超过 5 MB 自动转 .1。
|
|
# ============================================================
|
|
set -euo pipefail
|
|
|
|
PROJECT_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
|
|
PYTHON="${PROJECT_ROOT}/.venv/bin/python"
|
|
LOG_DIR="${PROJECT_ROOT}/logs"
|
|
LOG="${LOG_DIR}/daily-sync.log"
|
|
LOCK_DIR="${LOG_DIR}/.daily-sync.lock"
|
|
MAX_LOG_BYTES=$((5 * 1024 * 1024))
|
|
|
|
mkdir -p "${LOG_DIR}"
|
|
|
|
# ---- 单实例锁（pid 存活性判定，避免残留锁永久阻塞）----
|
|
if [[ -d "${LOCK_DIR}" ]]; then
|
|
holder="$(cat "${LOCK_DIR}/pid" 2>/dev/null || true)"
|
|
if [[ -n "${holder}" ]] && kill -0 "${holder}" 2>/dev/null; then
|
|
echo "$(date '+%F %T') [跳过] 上一次同步（pid=${holder}）仍在运行" >> "${LOG}"
|
|
exit 0
|
|
fi
|
|
rm -rf "${LOCK_DIR}"
|
|
fi
|
|
mkdir -p "${LOCK_DIR}"
|
|
echo $$ > "${LOCK_DIR}/pid"
|
|
trap 'rm -rf "${LOCK_DIR}"' EXIT
|
|
|
|
# ---- 日志轮转 ----
|
|
if [[ -f "${LOG}" ]] && [[ "$(wc -c < "${LOG}")" -gt ${MAX_LOG_BYTES} ]]; then
|
|
mv -f "${LOG}" "${LOG}.1"
|
|
fi
|
|
|
|
if [[ ! -x "${PYTHON}" ]]; then
|
|
echo "$(date '+%F %T') [错误] 虚拟环境不可用：${PYTHON}" >> "${LOG}"
|
|
exit 1
|
|
fi
|
|
|
|
rc=0
|
|
{
|
|
echo "============================================================"
|
|
echo "$(date '+%F %T') 每日增量同步开始 ${*:-（默认全部目标）}"
|
|
cd "${PROJECT_ROOT}"
|
|
export PYTHONPATH="${PROJECT_ROOT}/src"
|
|
export LANG="${LANG:-zh_CN.UTF-8}"
|
|
# 日志里只要进度与错误：httpx 每个请求一行 INFO 会把日志淹掉
|
|
# （同步进度本身走 print，不受日志级别影响）。需要排障时 HDIV_LOG_LEVEL=INFO。
|
|
LOG_LEVEL="${HDIV_LOG_LEVEL:-WARNING}"
|
|
# 某个目标失败不影响其余目标（run 内部逐个捕获），这里只汇总退出码。
|
|
"${PYTHON}" -m hdiv --log-level "${LOG_LEVEL}" sync daily "$@" || rc=$?
|
|
echo "$(date '+%F %T') 每日增量同步结束，exit=${rc}"
|
|
} >> "${LOG}" 2>&1
|
|
|
|
exit "${rc}"
|