功能:每日动态股票池回测(--mode daily)+ 每日增量同步 + PIT 批量取数层

说明:本提交是工作区中此前的未提交工作(在 14ec0c6 之后产生),**非本次会话所写**,
按用户要求整理并推送。已做安全检查(无明文凭据、无大文件、.env/logs/output 仍被忽略),
并完成可执行范围内的测试验证(见「测试」一节)。

## 新增能力

1) `hdiv backtest --mode daily --start <日期>`
   - src/hdiv/backtest/daily.py:两趟式(先逐日选股,再复用既有引擎模拟)
   - 每个交易日按当日可见数据重建股票池(PIT),每个交易日判断买卖点
   - `pool_exit_action`:hold(只减不加、不因掉出池子而清仓)/ sell(掉出即清仓)
   - `profile_on_trade`:买卖决策发生时计算并留痕个股画像,**不区分是否在当日池内**
     (卖出/减仓同样留痕,否则「为什么卖」缺证据)
   - 与 walkforward 的分工:daily 是一条连续路径的推演,不是过拟合检验;
     因此不使用训练段、不冻结分布,阈值口径一律 rolling
   - 拒绝 `--universe-run`(daily 的定义就是逐日重筛,冻结池与之矛盾)

2) PIT 批量取数层 src/hdiv/universe/pit.py
   - PitRepo 继承 Repo,**只重写取数**(按区块批量预载 + 逐日内存切片),
     派生逻辑(最新一期财报合并、单位归一化、支付率口径等)一行不重写
     —— 以保证与逐日单点查询**结果等价**
   - 候选集预剪枝:用「不可能通过」的边界条件提前排除,文档论证为精确等价而非近似
   - src/hdiv/universe/daily.py:每日动态筛选器(仍然调用既有 selector 与四个 Filter)

3) 每日增量同步 `hdiv sync daily`
   - src/hdiv/data/sync/daily.py:只抓「库里还没有的那几天」,
     按「当日股票数 ≥ 当年规模阈值」判定缺口,不重拉历史、不覆盖既有行;
     支持 `--dry-run` 先看待抓清单
   - deploy/daily-sync.sh、deploy/install-sync-schedule.sh、
     deploy/com.hddiv.sync.plist.example(launchd 每天 17:00)
   - 新表 hd_daily_universe(逐日入选成员留痕)+ sql/hd_daily_universe.sql + schema.py
     (该表已存在于库中,`ddl plan` 返回 0 个待执行动作)

4) Web 与文档
   - 前端支持 daily 模式记录下钻(web/app.js、web/app.css、web/index.html、
     web/favicon.svg)
   - README / docs/user-guide.md / docs/implementation-status.md 同步更新:
     三种回测模式的取舍、daily 的成本说明(6.7 年约 1.5 小时)与调优手段

## 测试

tests/ 共 500 项(新增 tests/test_daily.py 43 项、tests/test_sync_daily.py 36 项)。

已验证通过:
- 排除上述两个新文件的 **421 项:全部通过(pytest 退出码 0)**
- 两个新文件的**非 DB 单元测试 60 项:全部通过**

未能在合理时间内跑完:
- 两个新文件中 **19 项 DB 标记的重型测试**。实测瓶颈是一条**无界全表扫描**:
  `SELECT ... FROM hd_cashflow WHERE ann_date <= :asof ORDER BY symbol, end_date, ann_date`
  (31 万行,无 symbol/报告期下限)。全量套件跑到 161 项时已耗时 20 分钟、
  0 失败,按该速率预计需 3 小时以上,因此改为分档验证。
- 旁证:库中存在 3 次成功的 daily 端到端运行(2026-10-05 10:05 / 10:32 / 11:03,
  区间 2024-03-01~03-15),说明该路径可正常完成。

## 已知待改进

- 上述 `hd_cashflow`(及同类「按 ann_date 上界取全历史」)的查询缺
  symbol / 报告期下限,是 daily 模式的主要性能瓶颈,建议下一轮优化。
This commit is contained in:
2026-10-05 11:57:13 +08:00
parent 14ec0c6c86
commit cf6d4d2c56
36 changed files with 7385 additions and 285 deletions
+30 -2
View File
@@ -3,7 +3,8 @@
A 股 **高股息 + 安全边际 + 估值均值回归** 策略的研究与回测系统。
从 Point-in-Time 股票筛选 → 个股特性画像 → 策略定义 → 历史回测 →
Walk-forward 样本外验证 → 绩效与敏感性分析 → **统一 Web 前端**,全链路打通。
Walk-forward 样本外验证 → **每日动态股票池推演** → 绩效与敏感性分析 →
**统一 Web 前端**,全链路打通。
采用**前后端分离**:前端为 `output/` 下的单页应用(hash 路由,nginx 直接托管),
后端为 `hdiv web` 提供的 REST API(nginx 反代 `/api`)。
@@ -26,6 +27,13 @@ export PYTHONPATH=src
.venv/bin/python -m hdiv sync index
.venv/bin/python -m hdiv sync trading --start 2019-01-01
# 日常增量:只抓「库里还没有的那几天」,不重拉历史
.venv/bin/python -m hdiv sync daily --dry-run # 先看待抓清单
.venv/bin/python -m hdiv sync daily # 真抓
# 注册为每天 17:00 的 launchd 定时任务
./deploy/install-sync-schedule.sh install
# 审计 → 打开 output/index.html
.venv/bin/python -m hdiv audit
```
@@ -54,7 +62,7 @@ templates/ HTML 模板(Jinja2,离线)
assets/ 图表库(ECharts,本地化,不依赖 CDN)
output/ ★ 报告输出(部署这个目录)
sql/ 建表 SQL 副本(供人工审查)
tests/ 262 项自动化测试
tests/ 439 项自动化测试(含每日动态股票池的取数等价性、预剪枝等价性、PIT 纪律与端到端)
docs/ 文档
```
@@ -111,6 +119,26 @@ docs/ 文档
---
## 三种回测模式(不要混用)
| 模式 | 命令 | 回答的问题 |
|---|---|---|
| 单条路径 | `hdiv backtest [--universe-run <id>]` | 某个固定池/周期重筛下的全期表现 |
| 样本外 | `hdiv backtest --mode walkforward` | 参数在**未知未来**能否复现(过拟合检验) |
| **每日动态池** | `hdiv backtest --mode daily --start 2020-01-05` | 从某天起**每个交易日重新选股**连续推演会怎样 |
`--mode daily` 的特点是**股票池每天都在变**:每个交易日按当时可见数据重建池子
(PIT),每个交易日判断买卖点;持仓掉出当日池子默认**只减不加**(不清仓),
买卖决策都会留下个股画像证据,每日入选成员落库到 `hd_daily_universe`。
> **成本要说清楚**:逐日全市场筛选是重活 —— 6.7 年(约 1600 个交易日)约需
> **1.5 小时**;1 年约 20 分钟,3 个月约 5 分钟。命令启动时会打印预计时长。
> 要缩短时间,可缩短区间,或把 `config/backtest.yml` 的
> `daily.universe_refresh_days` 调大(例如 5 = 每周选股、每日判断买卖 ——
> 这是真实的语义取舍)。详见[使用手册 §5.7b](docs/user-guide.md)。
---
## Web 部署(前后端分离)
```bash