修复:TTM 股息率两处残余缺陷 + 公司行为三处静默错误;新增回测级排除行业清单

说明:本提交是工作区中此前的未提交工作(在 cf6d4d2 之后产生),**非本次会话所写**,
按用户要求**不跑测试、直接记录变更并推送**。
已完成推送前的基础安全检查:无明文凭据、无大文件、`.env`/`logs/`/`output/` 仍被忽略。
测试状态:**本次未执行测试套件**。

## 一、TTM 股息率的两处残余缺陷 + 卖出复核

起因:用户报告 `600690.SH` 在 2026-07-30 触发清仓、07-31 开盘卖出,实际不该卖。

### 缺陷一:同一除权日的多条「实施」记录被逐行累加
- 成因:`hd_dividend` 写入侧刻意保留全量公告记录,去重键含 `ann_date`,
  同一笔分红会有多条「实施」记录落在**同一除权日**;查询侧逐行累加即重复计入。
- 规模:5724 只有现金分红的股票中 **953 只**存在同除权日重复(多出 1313 行)。
- 效果:`600690.SH` 的 `ttm_dps` 长期虚高约一倍(2.46848 vs 真实 1.23424),
  窗口到期时又必然回落,把假象放大成一次 −78% 的塌陷。
- 修法:新增 `factor.dividend_yield.dedupe_dividend_events()`,按 `(symbol, ex_date)`
  聚合成**一笔经济事件**(金额/股数逐字段取最大 → 收敛「分项 + 合计」;
  日期取最晚 → PIT 保守)。三处入口统一调用:`ttm_dps_series`、
  `Repo.dividend_events`、`universe/filters/dividend.py`。

### 缺陷二:只看相邻间隔,漏掉「年度 → 中期 → 下一年度」的跳法
- 成因:7.6 的「按后继接管」只看相邻两次除权的间隔。实测 `600690.SH`:
  FY2024 年度 2025-07-25、FY2025 中期 2025-11-07、FY2025 年度 2026-08-21。
  105 天的间隔使前两笔被判为「年内多次分红」而互不取代,392 天又超过 `365+45`
  → **2026-07-25~08-21 出现 28 天空窗**,可见现金只剩 0.26920。
- 修法:`ttm_dps_series` 的覆盖窗口由「按相邻间隔」升级为「**按财年 `end_date`**」:
  ① 后继接管(保留 7.6 行为,阈值 `ttm_days - grace_days` = 320 天);
  ② **跨财年补位**:每个财年最后一笔 → 下一财年最后一笔入场,上限 `365 + grace`;
  ③ **末笔宽限兜底**:无后继时覆盖 `365 + grace`(真停发仍如实归零)。
- 验收(作者实测):600690 在 2026-07-27 的 `ttm_dps` 由 0.53840 变为 **1.23424**,
  股息率 5.30%、历史分位 92.98%,**不再触发 P25 清仓**。

### 缺陷三(设计缺口):卖出只认「已除权的现金」,不认「已公告的分红」
- 成因:FY2025 年度分红 0.89151 的**实施公告日是 2026-06-25**,除权日 2026-08-21。
  TTM 现金口径看不到它 → 「股息率处于历史低位」在字面上为真,
  实际描述的是**现金流时点**而非分红能力恶化。
- 修法:新增 `entry/exit.confirm`(`enabled` / `min_ratio` / `announce_lookback_days`):
  若「已公告未除权」的分红说明股息率本应更高,且
  `TTM ÷ (TTM + 已公告未除权) < min_ratio`,则判定**未确认**:
  保持仓位并记录 `EXIT_UNCONFIRMED`(不进成交流水)。真降息不会命中。

## 二、公司行为的三处静默错误(分红/送转/配股口径)

### 问题一:纯送转被整行丢弃(凭空亏损)
- `_apply_dividends` 在算送股**之前**就按 `cash_div_tax <= 0` 整行 `continue`,
  于是「10 送 10」这类**无现金分红**的送转完全不调股数 ——
  而价格是不复权价、除权日照常腰斩 → 记出一笔不存在的亏损。
- 规模:全库「实施且 `stk_div > 0`」13,038 行,其中**纯送转 3,268 行**;
  高股息池成员在 2015-2026 区间内 **824 笔**(如 `000793.SZ` 每 10 股转增 12 股,
  单笔约 −54% 的该持仓市值)。
- 修法:现金与送转**各自独立判断**,只有「既无现金也无送转」才跳过;
  并把 `stk_bo_rate`/`stk_co_rate` 写入分红台账留痕。

### 问题二:同一除权日的重复记录被重复入账
- 全库 **1401 组**同 `(symbol, ex_date)` 的多条实施记录(1240 组字段相同;
  96 组报告期不同、122 组金额不同)。实测 `002352.SZ 2024-11-07` 同时有
  0.4 / 1.0 / 1.4 三条,而 1.4 = 0.4 + 1.0 是合计口径 → 逐行累加会放大两三倍。
- 修法:复用 `dedupe_dividend_events`(与缺陷一同一个函数)。

### 问题三:分红再投资的声明与行为不一致
- 引擎实际行为一直是「分红现金回到与初始资金同一个 `cash` 变量,
  下次调仓按目标权重再配置」= `reinvest` + `portfolio_rebalance`;
  但 `backtest.yml` 写的是 `same_stock_next_open`,于是每次 run 都声明
  「未实现分红再投资规则,分红留存为现金」,让人误以为分红不可再投资。
- 修法:配置改为已实现组合 `cash_mode: reinvest` + `reinvest_rule: portfolio_rebalance`;
  声明逻辑抽成 `dividend_handling_notes()`,**逐档取值都有单测**对应
  (`hold`/`cash_out`/`same_stock_next_open`/`handle_stock_dividend=false`/配股
  才声明未实现)。顺带接线一直是**死字段**的 `dividend.apply_dividend_tax`。

## 三、新增:回测层面的排除行业清单(黑名单)

- 位置与语义:`config/backtest.yml: universe_exclusions.industries` ——
  「**这次回测**特意不要哪些行业」(研究口径),
  与 `config/universe.yml`(策略选股定义)**叠加取并集**,只做减法。
  三种回测模式(single / walkforward / daily)一律生效。
- 最大的坑:数据库 `stock.industry` 里**没有「房地产业」**,它被拆成四个名字,
  写「房地产」或「房地产业」**一只都排除不掉**:
  `全国地产` 26 只 + `区域地产` 43 只 + `房产服务` 13 只 + `园区开发` 14 只 = **96 只**(1.6%)。
  因此 `MarketFilter` 首次求值时拿名单与表内实际取值核对,
  **写错名字直接抛 `ConfigError`**(并按字符重合度提示最接近的真实取值)。
- 接线:三个入口都走生效后的配置;并修掉一处缓存陷阱(配置变更后缓存未失效)。
- 新增测试锁定它。

## 四、其它

- `src/hdiv/core/config.py`:新增配置模型(排除行业、卖出复核等,+102 行)
- `src/hdiv/data/repo.py`(+45)、`src/hdiv/backtest/engine.py`(+121)、
  `backtest/daily.py`、`backtest/walk_forward.py`、`web/service.py`、
  `report/universe_report.py` 相应接线
- 测试:新增 `tests/test_dividend_fiscal_year.py`;扩充
  `test_backtest.py` / `test_config.py` / `test_daily.py` /
  `test_dividend_smoothing.py` / `test_universe.py`
- `tools/diag_dividend_artifact.py`:诊断脚本与上述修复对齐
- 文档:`docs/implementation-status.md` 新增 §7.6b / §7.7 / §11;
  `docs/user-guide.md` 新增排除行业清单说明

## 待验证

本次按要求**未执行测试**。上述「实测/验收」数字均引自文档中作者自己的记录,
非本次会话验证结果。建议合入后跑一次全量测试(注意:daily 的 DB 标记测试
因 `hd_cashflow` 无界扫描仍然很慢)。
This commit is contained in:
2026-10-05 16:19:07 +08:00
parent cf6d4d2c56
commit fdfdd152d8
23 changed files with 1678 additions and 93 deletions
+137
View File
@@ -23,6 +23,7 @@ from hdiv.backtest.engine import (
_months_between,
_round_lot,
build_yield_series,
dedupe_dividend_events,
dividend_handling_notes,
reconcile,
)
@@ -147,6 +148,42 @@ def test_reconcile_does_not_include_position_value() -> None:
assert rc["balanced"] is True, "1000 − 800 = 200,持仓市值不应进入残差"
# ---------------------------------------------------------------------------
# 行业排除清单:从 backtest.yml 一路走到选股滤网
#
# 本项目最怕的失效形态是「配置写了,但没有任何代码路径会读它」——
# 那样回测照跑、日志照打,只是排除从未生效。下面三个入口都必须接线。
# ---------------------------------------------------------------------------
def test_engine_applies_universe_exclusions_to_selector() -> None:
from hdiv.backtest.engine import BacktestEngine
from hdiv.core.config import load_config
from hdiv.universe.selector import UniverseSelector
expected = list(load_config("backtest").universe_exclusions.industries)
eng = BacktestEngine.from_strategy("config/strategy/high_dividend_v1.yml")
assert eng.universe_cfg.industry_exclusions == expected
market = UniverseSelector(eng.universe_cfg)._build_filters()["market"]
assert market.exclude_industries == expected, "黑名单没有传到 market 滤网"
def test_walkforward_and_daily_runners_apply_universe_exclusions() -> None:
"""训练段校准 / 逐日选股各自都持有生效后的筛选配置。
walk-forward 的训练段也要排除:否则冻结分布是在**含被排除行业**的池子上
标定的,与测试段实际能买的池子口径不一致。
"""
from hdiv.backtest.daily import DailyRunner
from hdiv.backtest.walk_forward import WalkForwardRunner
from hdiv.core.config import load_config
expected = list(load_config("backtest").universe_exclusions.industries)
path = "config/strategy/high_dividend_v1.yml"
assert DailyRunner.from_strategy(path).universe_cfg.industry_exclusions == expected
assert WalkForwardRunner.from_strategy(path).universe_cfg.industry_exclusions == expected
# ---------------------------------------------------------------------------
# 目标仓位阶梯(防「分批建仓/减仓互相冲突」)
# ---------------------------------------------------------------------------
@@ -498,6 +535,28 @@ def test_dividend_cash_joins_the_investable_pool(engine) -> None:
assert cash_after >= 0.0
def test_duplicate_dividend_rows_are_credited_once(engine) -> None:
"""同一除权日的多条记录只入账一次(引擎在预载阶段按经济事件聚合)。
实测 002352.SZ 2024-11-07 同时有 0.4 / 1.0 / 1.4 三条记录,逐行入账会把同一笔
分红算两三次(现金与送转都会被放大)。
"""
day = date(2024, 6, 20)
raw = pd.DataFrame([
{"symbol": "X.SH", "ex_date": day, "imp_ann_date": date(2024, 5, 20),
"cash_div_tax": 0.5, "stk_div": None, "stk_bo_rate": None, "stk_co_rate": None},
{"symbol": "X.SH", "ex_date": day, "imp_ann_date": date(2024, 6, 1),
"cash_div_tax": 0.5, "stk_div": 0.4, "stk_bo_rate": None, "stk_co_rate": 0.4},
])
ev = dedupe_dividend_events(raw)
assert len(ev) == 1, "同一 (symbol, ex_date) 必须收敛成一笔"
ctx = {"div_by_date": {day: ev.to_dict("records")}}
pos = _held(first_buy=day - timedelta(days=800)) # 持股 > 1 年 → 免税
cash = engine._apply_dividends(day, {"X.SH": pos}, ctx, 0.0, [])
assert cash == pytest.approx(500.0), "同一笔现金分红只入账一次"
assert pos.quantity == pytest.approx(1400.0), "送转只放大一次"
def test_dividend_handling_notes_match_each_mode() -> None:
"""声明口径必须与实现逐档对应:已实现的组合不得留声明,未实现的必须声明。
@@ -544,6 +603,11 @@ def test_engine_dividends_are_creditable() -> None:
assert not d.empty
assert (d["net"] <= d["gross"] + 1e-9).all(), "税后不得大于税前"
assert (d["tax"] >= 0).all()
# 同一 (symbol, ex_date) 不得出现两笔入账 —— 库里同一除权日有多条 `实施`
# 记录(全库 1401 组),引擎必须在预载阶段按经济事件聚合
assert not d.duplicated(["ex_date", "symbol"]).any(), (
f"同一除权日重复入账:{d[d.duplicated(['ex_date', 'symbol'], keep=False)]}"
)
@pytest.mark.db
@@ -863,3 +927,76 @@ def test_unimplemented_declarations_are_honest() -> None:
# 「未实现」会让使用者误以为分红现金被隔离成了不可投资资金。
assert "分红再投资" not in decl, f"把已实现的分红再投资误报成未实现:{decl}"
assert "reinvest_rule" not in decl, f"把已实现的再投资规则误报成未实现:{decl}"
# ---------------------------------------------------------------------------
# 卖出复核(修复 3b):TTM 窗口台阶 vs 分红能力恶化
# ---------------------------------------------------------------------------
def _confirm_engine():
"""构造一个不取数的引擎实例:卖出复核只依赖 pending_div 与策略配置。"""
from hdiv.backtest.engine import BacktestEngine
return BacktestEngine.from_strategy("config/strategy/high_dividend_v1.yml")
def test_exit_confirmation_blocks_cashflow_timing_artefact() -> None:
"""实测 600690.SH 2026-07-30:可见现金只剩 0.26920,但 FY2025 年度 0.89151
早在 2026-06-25 就已公告(除权 2026-08-21)→ 清仓必须被拦下。
这就是用户报告的那笔「实际不该成交」的卖出:旧口径下 TTM 因重复记录虚高
到 2.46848,随后塌到 0.53840/0.26920,把「现金流时点」误读成「分红能力恶化」。
"""
eng = _confirm_engine()
eng.pending_div = {"600690.SH": [(date(2026, 6, 25), 0.89151)]}
ok, info = eng._exit_confirmed("600690.SH", date(2026, 7, 30), 0.26920)
assert ok is False, "已公告未除权的分红足以抬高股息率,清仓应被判定为未确认"
assert info["pending_dps"] == pytest.approx(0.89151)
assert info["ratio"] < info["min_ratio"]
assert eng.exit_unconfirmed == 1
def test_exit_confirmation_allows_real_dividend_cut() -> None:
"""真降息必须照常清仓:公告金额本身就低(或没有公告)时不得拦截。"""
eng = _confirm_engine()
# 无任何已公告未除权分红 → 股息率低就是低
eng.pending_div = {}
ok, info = eng._exit_confirmed("600690.SH", date(2026, 7, 30), 0.26920)
assert ok is True
assert info["pending_dps"] == 0.0
# 公告的是一笔很小的分红(0.02),不足以把股息率抬高 → 仍应清仓
eng2 = _confirm_engine()
eng2.pending_div = {"X.SH": [(date(2026, 6, 25), 0.02)]}
ok2, info2 = eng2._exit_confirmed("X.SH", date(2026, 7, 30), 0.26920)
assert ok2 is True, f"小额公告不应拦住清仓,ratio={info2['ratio']}"
def test_exit_confirmation_is_pit_sensitive() -> None:
"""公告日之后才可见:公告日之前的那一天不得用未来公告去豁免清仓。"""
eng = _confirm_engine()
eng.pending_div = {"600690.SH": [(date(2026, 6, 25), 0.89151)]}
# 公告前一天:当时确实不可知 → 照常清仓
ok_before, info_before = eng._exit_confirmed(
"600690.SH", date(2026, 6, 24), 0.26920
)
assert ok_before is True
assert info_before["pending_dps"] == 0.0
# 公告当天起可见
ok_after, info_after = eng._exit_confirmed("600690.SH", date(2026, 6, 25), 0.26920)
assert ok_after is False
assert info_after["pending_dps"] == pytest.approx(0.89151)
def test_exit_confirmation_can_be_disabled() -> None:
"""关掉开关时行为与修复前逐字一致(回滚路径必须可用)。"""
from hdiv.core.config import ExitConfig
eng = _confirm_engine()
eng.pending_div = {"600690.SH": [(date(2026, 6, 25), 0.89151)]}
eng.strategy.exit = ExitConfig.model_validate(
{"yield_percentile": 25, "scale_out": [], "confirm": {"enabled": False}}
)
ok, info = eng._exit_confirmed("600690.SH", date(2026, 7, 30), 0.26920)
assert ok is True and info["enabled"] is False