功能:每日动态股票池回测(--mode daily)+ 每日增量同步 + PIT 批量取数层

说明:本提交是工作区中此前的未提交工作(在 14ec0c6 之后产生),**非本次会话所写**,
按用户要求整理并推送。已做安全检查(无明文凭据、无大文件、.env/logs/output 仍被忽略),
并完成可执行范围内的测试验证(见「测试」一节)。

## 新增能力

1) `hdiv backtest --mode daily --start <日期>`
   - src/hdiv/backtest/daily.py:两趟式(先逐日选股,再复用既有引擎模拟)
   - 每个交易日按当日可见数据重建股票池(PIT),每个交易日判断买卖点
   - `pool_exit_action`:hold(只减不加、不因掉出池子而清仓)/ sell(掉出即清仓)
   - `profile_on_trade`:买卖决策发生时计算并留痕个股画像,**不区分是否在当日池内**
     (卖出/减仓同样留痕,否则「为什么卖」缺证据)
   - 与 walkforward 的分工:daily 是一条连续路径的推演,不是过拟合检验;
     因此不使用训练段、不冻结分布,阈值口径一律 rolling
   - 拒绝 `--universe-run`(daily 的定义就是逐日重筛,冻结池与之矛盾)

2) PIT 批量取数层 src/hdiv/universe/pit.py
   - PitRepo 继承 Repo,**只重写取数**(按区块批量预载 + 逐日内存切片),
     派生逻辑(最新一期财报合并、单位归一化、支付率口径等)一行不重写
     —— 以保证与逐日单点查询**结果等价**
   - 候选集预剪枝:用「不可能通过」的边界条件提前排除,文档论证为精确等价而非近似
   - src/hdiv/universe/daily.py:每日动态筛选器(仍然调用既有 selector 与四个 Filter)

3) 每日增量同步 `hdiv sync daily`
   - src/hdiv/data/sync/daily.py:只抓「库里还没有的那几天」,
     按「当日股票数 ≥ 当年规模阈值」判定缺口,不重拉历史、不覆盖既有行;
     支持 `--dry-run` 先看待抓清单
   - deploy/daily-sync.sh、deploy/install-sync-schedule.sh、
     deploy/com.hddiv.sync.plist.example(launchd 每天 17:00)
   - 新表 hd_daily_universe(逐日入选成员留痕)+ sql/hd_daily_universe.sql + schema.py
     (该表已存在于库中,`ddl plan` 返回 0 个待执行动作)

4) Web 与文档
   - 前端支持 daily 模式记录下钻(web/app.js、web/app.css、web/index.html、
     web/favicon.svg)
   - README / docs/user-guide.md / docs/implementation-status.md 同步更新:
     三种回测模式的取舍、daily 的成本说明(6.7 年约 1.5 小时)与调优手段

## 测试

tests/ 共 500 项(新增 tests/test_daily.py 43 项、tests/test_sync_daily.py 36 项)。

已验证通过:
- 排除上述两个新文件的 **421 项:全部通过(pytest 退出码 0)**
- 两个新文件的**非 DB 单元测试 60 项:全部通过**

未能在合理时间内跑完:
- 两个新文件中 **19 项 DB 标记的重型测试**。实测瓶颈是一条**无界全表扫描**:
  `SELECT ... FROM hd_cashflow WHERE ann_date <= :asof ORDER BY symbol, end_date, ann_date`
  (31 万行,无 symbol/报告期下限)。全量套件跑到 161 项时已耗时 20 分钟、
  0 失败,按该速率预计需 3 小时以上,因此改为分档验证。
- 旁证:库中存在 3 次成功的 daily 端到端运行(2026-10-05 10:05 / 10:32 / 11:03,
  区间 2024-03-01~03-15),说明该路径可正常完成。

## 已知待改进

- 上述 `hd_cashflow`(及同类「按 ann_date 上界取全历史」)的查询缺
  symbol / 报告期下限,是 daily 模式的主要性能瓶颈,建议下一轮优化。
This commit is contained in:
2026-10-05 11:57:13 +08:00
parent 14ec0c6c86
commit cf6d4d2c56
36 changed files with 7385 additions and 285 deletions
+64
View File
@@ -0,0 +1,64 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<!--
com.hddiv.sync — 「高股息回测」每日增量数据抓取(macOS launchd)
这是模板,不要直接使用。安装请执行:
./deploy/install-sync-schedule.sh install
行为:每天 17:00(收盘后 2 小时,Tushare 当日数据已出)执行
deploy/daily-sync.sh
它只抓「库里还没有的那几天」,已完整的历史一天都不重拉。
与 com.hddiv.web 的区别:
web 是常驻服务(KeepAlive + RunAtLoad);本任务是**定时一次性**任务,
因此必须 RunAtLoad=false + KeepAlive=false,否则会被无限拉起。
睡眠/关机期间的错过:launchd 会在机器唤醒或用户登录后补跑一次
(StartCalendarInterval 的语义),补跑同样只抓缺口,不会重复入库。
占位符(由 install-sync-schedule.sh 渲染):
__PROJECT_ROOT__ 项目根目录绝对路径
-->
<plist version="1.0">
<dict>
<key>Label</key>
<string>com.hddiv.sync</string>
<key>ProgramArguments</key>
<array>
<string>__PROJECT_ROOT__/deploy/daily-sync.sh</string>
</array>
<key>WorkingDirectory</key>
<string>__PROJECT_ROOT__</string>
<key>EnvironmentVariables</key>
<dict>
<key>PYTHONPATH</key>
<string>src</string>
<key>LANG</key>
<string>zh_CN.UTF-8</string>
</dict>
<!-- 每天 17:00;改时间就改这两个整数(Hour 为 24 小时制) -->
<key>StartCalendarInterval</key>
<dict>
<key>Hour</key>
<integer>17</integer>
<key>Minute</key>
<integer>0</integer>
</dict>
<key>RunAtLoad</key>
<false/>
<key>KeepAlive</key>
<false/>
<!-- 脚本自带日志(logs/daily-sync.log);这里只兜住脚本自身启动失败 -->
<key>StandardOutPath</key>
<string>__PROJECT_ROOT__/logs/daily-sync.launchd.log</string>
<key>StandardErrorPath</key>
<string>__PROJECT_ROOT__/logs/daily-sync.launchd.log</string>
</dict>
</plist>
+67
View File
@@ -0,0 +1,67 @@
#!/usr/bin/env bash
# ============================================================
# 每日增量数据抓取(「缺几天就抓几天」)
#
# 用法:
# ./deploy/daily-sync.sh # 抓全部目标
# ./deploy/daily-sync.sh --dry-run # 只看待抓清单,不调用接口
# ./deploy/daily-sync.sh --only price # 只补行情
#
# 由 launchd 在每天 17:00 调用(见 deploy/install-sync-schedule.sh),
# 也可以手工执行排障。退出码:0 = 全部成功;1 = 至少一个目标失败。
#
# 为什么锁 + 日志轮转是必需的:
# - 重叠运行:Tushare 限频是按接口算的,两个实例互相抢额度会让两边都变慢,
# 还会把同一天的数据写两遍(幂等,但纯属浪费)。用 pid 锁直接跳过;
# - 日志只增不减:每天一条,一年就是几百 KB 到数 MB,超过 5 MB 自动转 .1。
# ============================================================
set -euo pipefail
PROJECT_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
PYTHON="${PROJECT_ROOT}/.venv/bin/python"
LOG_DIR="${PROJECT_ROOT}/logs"
LOG="${LOG_DIR}/daily-sync.log"
LOCK_DIR="${LOG_DIR}/.daily-sync.lock"
MAX_LOG_BYTES=$((5 * 1024 * 1024))
mkdir -p "${LOG_DIR}"
# ---- 单实例锁(pid 存活性判定,避免残留锁永久阻塞)----
if [[ -d "${LOCK_DIR}" ]]; then
holder="$(cat "${LOCK_DIR}/pid" 2>/dev/null || true)"
if [[ -n "${holder}" ]] && kill -0 "${holder}" 2>/dev/null; then
echo "$(date '+%F %T') [跳过] 上一次同步(pid=${holder})仍在运行" >> "${LOG}"
exit 0
fi
rm -rf "${LOCK_DIR}"
fi
mkdir -p "${LOCK_DIR}"
echo $$ > "${LOCK_DIR}/pid"
trap 'rm -rf "${LOCK_DIR}"' EXIT
# ---- 日志轮转 ----
if [[ -f "${LOG}" ]] && [[ "$(wc -c < "${LOG}")" -gt ${MAX_LOG_BYTES} ]]; then
mv -f "${LOG}" "${LOG}.1"
fi
if [[ ! -x "${PYTHON}" ]]; then
echo "$(date '+%F %T') [错误] 虚拟环境不可用:${PYTHON}" >> "${LOG}"
exit 1
fi
rc=0
{
echo "============================================================"
echo "$(date '+%F %T') 每日增量同步开始 ${*:-(默认全部目标)}"
cd "${PROJECT_ROOT}"
export PYTHONPATH="${PROJECT_ROOT}/src"
export LANG="${LANG:-zh_CN.UTF-8}"
# 日志里只要进度与错误:httpx 每个请求一行 INFO 会把日志淹掉
# (同步进度本身走 print,不受日志级别影响)。需要排障时 HDIV_LOG_LEVEL=INFO。
LOG_LEVEL="${HDIV_LOG_LEVEL:-WARNING}"
# 某个目标失败不影响其余目标(run 内部逐个捕获),这里只汇总退出码。
"${PYTHON}" -m hdiv --log-level "${LOG_LEVEL}" sync daily "$@" || rc=$?
echo "$(date '+%F %T') 每日增量同步结束,exit=${rc}"
} >> "${LOG}" 2>&1
exit "${rc}"
+103
View File
@@ -0,0 +1,103 @@
#!/usr/bin/env bash
# ============================================================
# 把「每日 17:00 增量抓数据」注册为 macOS launchd 用户级定时任务
#
# 用法:
# ./deploy/install-sync-schedule.sh install 安装(幂等,可重复执行)
# ./deploy/install-sync-schedule.sh uninstall 停止并移除
# ./deploy/install-sync-schedule.sh status 查看状态、下次触发时间与最近日志
# ./deploy/install-sync-schedule.sh reinstall 重新渲染 plist 并重载
# ./deploy/install-sync-schedule.sh run 立刻按计划表跑一次(排障用)
# ./deploy/install-sync-schedule.sh dry-run 立刻跑一次「只看清单不抓数」
#
# 为什么用 launchd 而不是 cron:
# - 本机已经用 launchd 托管 web 服务(install-service.sh),同一套机制更好排查;
# - macOS 上 cron 需要额外的 Full Disk Access 授权,且睡眠错过的任务**不会补跑**,
# 而 launchd 的 StartCalendarInterval 会在唤醒后补跑 —— 对「每天补缺口」的任务
# 来说,补跑是刚需(漏一天就等于多一天缺口)。
#
# 若你不用 launchd,也可以用 crontab 一行搞定:
# 0 17 * * * cd <项目根> && PYTHONPATH=src .venv/bin/python -m hdiv sync daily \
# >> logs/daily-sync.log 2>&1
# ============================================================
set -euo pipefail
PROJECT_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
TEMPLATE="${PROJECT_ROOT}/deploy/com.hddiv.sync.plist.example"
TARGET="${HOME}/Library/LaunchAgents/com.hddiv.sync.plist"
LABEL="com.hddiv.sync"
RUNNER="${PROJECT_ROOT}/deploy/daily-sync.sh"
LOG="${PROJECT_ROOT}/logs/daily-sync.log"
die() { echo "错误: $*" >&2; exit 1; }
is_loaded() { launchctl list 2>/dev/null | grep -q "[[:space:]]${LABEL}$"; }
render() {
[[ -f "${TEMPLATE}" ]] || die "缺少模板:${TEMPLATE}"
[[ -x "${RUNNER}" ]] || die "缺少可执行脚本:${RUNNER}"
mkdir -p "${PROJECT_ROOT}/logs" "${HOME}/Library/LaunchAgents"
# 路径含中文,用 | 作 sed 分隔符避免转义问题
sed -e "s|__PROJECT_ROOT__|${PROJECT_ROOT}|g" "${TEMPLATE}" > "${TARGET}"
if grep -q "__" "${TARGET}"; then
die "plist 中仍有未替换的占位符:$(grep -o '__[A-Z_]*__' "${TARGET}" | sort -u | tr '\n' ' ')"
fi
plutil -lint "${TARGET}" >/dev/null || die "plist 格式非法:${TARGET}"
echo "已渲染 ${TARGET}"
}
cmd_install() {
render
if is_loaded; then
echo "任务已加载,先卸载再加载以应用新配置…"
launchctl unload -w "${TARGET}" 2>/dev/null || true
fi
launchctl load -w "${TARGET}"
cmd_status
}
cmd_uninstall() {
if [[ -f "${TARGET}" ]]; then
launchctl unload -w "${TARGET}" 2>/dev/null || true
rm -f "${TARGET}"
echo "已停止并移除 ${TARGET}"
else
echo "${TARGET} 不存在,跳过"
fi
}
cmd_status() {
echo "=== launchd 定时任务 ==="
if is_loaded; then
launchctl list | grep "${LABEL}" | awk '{printf " PID=%s 上次退出码=%s %s\n", $1, $2, $3}'
echo " (PID 为 - 表示当前没有正在运行的实例;退出码 0 = 上次同步成功)"
else
echo " 未加载。执行 ./deploy/install-sync-schedule.sh install 安装"
fi
echo "=== 计划 ==="
echo " 每天 17:00 执行 ${RUNNER}"
echo " 睡眠/关机错过会在唤醒后补跑一次"
echo "=== 最近日志(${LOG})==="
if [[ -f "${LOG}" ]]; then
tail -12 "${LOG}"
else
echo " 尚无日志(任务还没跑过)"
fi
}
cmd_run() {
echo "立即执行一次(等价于 17:00 触发)…"
"${RUNNER}" "$@"
echo "完成,退出码 $?。日志:${LOG}"
}
case "${1:-install}" in
install) cmd_install ;;
reinstall) render; launchctl unload -w "${TARGET}" 2>/dev/null || true
launchctl load -w "${TARGET}"; cmd_status ;;
uninstall) cmd_uninstall ;;
status) cmd_status ;;
run) shift || true; cmd_run "$@" ;;
dry-run) shift || true; cmd_run --dry-run "$@" ;;
*) die "未知动作:$1(可用:install|reinstall|uninstall|status|run|dry-run)" ;;
esac