simon
cf6d4d2c56
说明：本提交是工作区中此前的未提交工作（在 14ec0c6 之后产生），**非本次会话所写**，
按用户要求整理并推送。已做安全检查（无明文凭据、无大文件、.env/logs/output 仍被忽略），
并完成可执行范围内的测试验证（见「测试」一节）。
## 新增能力
1) `hdiv backtest --mode daily --start <日期>`
- src/hdiv/backtest/daily.py：两趟式（先逐日选股，再复用既有引擎模拟）
- 每个交易日按当日可见数据重建股票池（PIT），每个交易日判断买卖点
- `pool_exit_action`：hold（只减不加、不因掉出池子而清仓）/ sell（掉出即清仓）
- `profile_on_trade`：买卖决策发生时计算并留痕个股画像，**不区分是否在当日池内**
（卖出/减仓同样留痕，否则「为什么卖」缺证据）
- 与 walkforward 的分工：daily 是一条连续路径的推演，不是过拟合检验；
因此不使用训练段、不冻结分布，阈值口径一律 rolling
- 拒绝 `--universe-run`（daily 的定义就是逐日重筛，冻结池与之矛盾）
2) PIT 批量取数层 src/hdiv/universe/pit.py
- PitRepo 继承 Repo，**只重写取数**（按区块批量预载 + 逐日内存切片），
派生逻辑（最新一期财报合并、单位归一化、支付率口径等）一行不重写
—— 以保证与逐日单点查询**结果等价**
- 候选集预剪枝：用「不可能通过」的边界条件提前排除，文档论证为精确等价而非近似
- src/hdiv/universe/daily.py：每日动态筛选器（仍然调用既有 selector 与四个 Filter）
3) 每日增量同步 `hdiv sync daily`
- src/hdiv/data/sync/daily.py：只抓「库里还没有的那几天」，
按「当日股票数 ≥ 当年规模阈值」判定缺口，不重拉历史、不覆盖既有行；
支持 `--dry-run` 先看待抓清单
- deploy/daily-sync.sh、deploy/install-sync-schedule.sh、
deploy/com.hddiv.sync.plist.example（launchd 每天 17:00）
- 新表 hd_daily_universe（逐日入选成员留痕）+ sql/hd_daily_universe.sql + schema.py
（该表已存在于库中，`ddl plan` 返回 0 个待执行动作）
4) Web 与文档
- 前端支持 daily 模式记录下钻（web/app.js、web/app.css、web/index.html、
web/favicon.svg）
- README / docs/user-guide.md / docs/implementation-status.md 同步更新：
三种回测模式的取舍、daily 的成本说明（6.7 年约 1.5 小时）与调优手段
## 测试
tests/ 共 500 项（新增 tests/test_daily.py 43 项、tests/test_sync_daily.py 36 项）。
已验证通过：
- 排除上述两个新文件的 **421 项：全部通过（pytest 退出码 0）**
- 两个新文件的**非 DB 单元测试 60 项：全部通过**
未能在合理时间内跑完：
- 两个新文件中 **19 项 DB 标记的重型测试**。实测瓶颈是一条**无界全表扫描**：
`SELECT ... FROM hd_cashflow WHERE ann_date <= :asof ORDER BY symbol, end_date, ann_date`
（31 万行，无 symbol/报告期下限）。全量套件跑到 161 项时已耗时 20 分钟、
0 失败，按该速率预计需 3 小时以上，因此改为分档验证。
- 旁证：库中存在 3 次成功的 daily 端到端运行（2026-10-05 10:05 / 10:32 / 11:03，
区间 2024-03-01~03-15），说明该路径可正常完成。
## 已知待改进
- 上述 `hd_cashflow`（及同类「按 ann_date 上界取全历史」）的查询缺
symbol / 报告期下限，是 daily 模式的主要性能瓶颈，建议下一轮优化。
104 lines
4.0 KiB
Bash
Executable File
104 lines
4.0 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# ============================================================
|
||
# 把「每日 17:00 增量抓数据」注册为 macOS launchd 用户级定时任务
|
||
#
|
||
# 用法：
|
||
# ./deploy/install-sync-schedule.sh install 安装（幂等，可重复执行）
|
||
# ./deploy/install-sync-schedule.sh uninstall 停止并移除
|
||
# ./deploy/install-sync-schedule.sh status 查看状态、下次触发时间与最近日志
|
||
# ./deploy/install-sync-schedule.sh reinstall 重新渲染 plist 并重载
|
||
# ./deploy/install-sync-schedule.sh run 立刻按计划表跑一次（排障用）
|
||
# ./deploy/install-sync-schedule.sh dry-run 立刻跑一次「只看清单不抓数」
|
||
#
|
||
# 为什么用 launchd 而不是 cron：
|
||
# - 本机已经用 launchd 托管 web 服务（install-service.sh），同一套机制更好排查；
|
||
# - macOS 上 cron 需要额外的 Full Disk Access 授权，且睡眠错过的任务**不会补跑**，
|
||
# 而 launchd 的 StartCalendarInterval 会在唤醒后补跑 —— 对「每天补缺口」的任务
|
||
# 来说，补跑是刚需（漏一天就等于多一天缺口）。
|
||
#
|
||
# 若你不用 launchd，也可以用 crontab 一行搞定：
|
||
# 0 17 * * * cd <项目根> && PYTHONPATH=src .venv/bin/python -m hdiv sync daily \
|
||
# >> logs/daily-sync.log 2>&1
|
||
# ============================================================
|
||
set -euo pipefail
|
||
|
||
PROJECT_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
|
||
TEMPLATE="${PROJECT_ROOT}/deploy/com.hddiv.sync.plist.example"
|
||
TARGET="${HOME}/Library/LaunchAgents/com.hddiv.sync.plist"
|
||
LABEL="com.hddiv.sync"
|
||
RUNNER="${PROJECT_ROOT}/deploy/daily-sync.sh"
|
||
LOG="${PROJECT_ROOT}/logs/daily-sync.log"
|
||
|
||
die() { echo "错误: $*" >&2; exit 1; }
|
||
|
||
is_loaded() { launchctl list 2>/dev/null | grep -q "[[:space:]]${LABEL}$"; }
|
||
|
||
render() {
|
||
[[ -f "${TEMPLATE}" ]] || die "缺少模板：${TEMPLATE}"
|
||
[[ -x "${RUNNER}" ]] || die "缺少可执行脚本：${RUNNER}"
|
||
mkdir -p "${PROJECT_ROOT}/logs" "${HOME}/Library/LaunchAgents"
|
||
# 路径含中文，用 | 作 sed 分隔符避免转义问题
|
||
sed -e "s|__PROJECT_ROOT__|${PROJECT_ROOT}|g" "${TEMPLATE}" > "${TARGET}"
|
||
if grep -q "__" "${TARGET}"; then
|
||
die "plist 中仍有未替换的占位符：$(grep -o '__[A-Z_]*__' "${TARGET}" | sort -u | tr '\n' ' ')"
|
||
fi
|
||
plutil -lint "${TARGET}" >/dev/null || die "plist 格式非法：${TARGET}"
|
||
echo "已渲染 ${TARGET}"
|
||
}
|
||
|
||
cmd_install() {
|
||
render
|
||
if is_loaded; then
|
||
echo "任务已加载，先卸载再加载以应用新配置…"
|
||
launchctl unload -w "${TARGET}" 2>/dev/null || true
|
||
fi
|
||
launchctl load -w "${TARGET}"
|
||
cmd_status
|
||
}
|
||
|
||
cmd_uninstall() {
|
||
if [[ -f "${TARGET}" ]]; then
|
||
launchctl unload -w "${TARGET}" 2>/dev/null || true
|
||
rm -f "${TARGET}"
|
||
echo "已停止并移除 ${TARGET}"
|
||
else
|
||
echo "${TARGET} 不存在，跳过"
|
||
fi
|
||
}
|
||
|
||
cmd_status() {
|
||
echo "=== launchd 定时任务 ==="
|
||
if is_loaded; then
|
||
launchctl list | grep "${LABEL}" | awk '{printf " PID=%s 上次退出码=%s %s\n", $1, $2, $3}'
|
||
echo " （PID 为 - 表示当前没有正在运行的实例；退出码 0 = 上次同步成功）"
|
||
else
|
||
echo " 未加载。执行 ./deploy/install-sync-schedule.sh install 安装"
|
||
fi
|
||
echo "=== 计划 ==="
|
||
echo " 每天 17:00 执行 ${RUNNER}"
|
||
echo " 睡眠/关机错过会在唤醒后补跑一次"
|
||
echo "=== 最近日志（${LOG}）==="
|
||
if [[ -f "${LOG}" ]]; then
|
||
tail -12 "${LOG}"
|
||
else
|
||
echo " 尚无日志（任务还没跑过）"
|
||
fi
|
||
}
|
||
|
||
cmd_run() {
|
||
echo "立即执行一次（等价于 17:00 触发）…"
|
||
"${RUNNER}" "$@"
|
||
echo "完成，退出码 $?。日志：${LOG}"
|
||
}
|
||
|
||
case "${1:-install}" in
|
||
install) cmd_install ;;
|
||
reinstall) render; launchctl unload -w "${TARGET}" 2>/dev/null || true
|
||
launchctl load -w "${TARGET}"; cmd_status ;;
|
||
uninstall) cmd_uninstall ;;
|
||
status) cmd_status ;;
|
||
run) shift || true; cmd_run "$@" ;;
|
||
dry-run) shift || true; cmd_run --dry-run "$@" ;;
|
||
*) die "未知动作：$1（可用：install|reinstall|uninstall|status|run|dry-run）" ;;
|
||
esac
|