simon/ggx - ggx - Gitea: 我的私人git

3 Commits 1 Branch 0 Tags

3 Commits

Author	SHA1	Message	Date
simon	14ec0c6c86	修复：量价单位 / 未来函数守卫 / 实时画像闸门；行情回补到 2005；手册补全流程本轮会话的三项正确性改造（均为「不报错、只让结果静默错」的类型）： 1) 修复 stock_daily 量价单位前后不一致 - 现象：2015-2019 存 Tushare 原始单位（手/千元），2020 起存（股/元），2019 同日混合；而流动性阈值按「元」配置 → 早年门槛实际是「日均成交额 ≥ 200 亿元」，把 2015-2019 的股票池整体清空（实测 2016/2017/2018 各选出 0 只）。 - 修复：写入端 sync/price.py 统一换算；读取端 units.normalize_ohlcv_units 按行判定并幂等换算（price_history / avg_amount 都走它）；审计新增 UNIT-OHLCV 防回归。 - 效果：2016/2017/2018 的股票池变为 7/11/13 只。 2) 未来函数守卫（单次回测） - 股票池自带 asof：若晚于回测起点即拒绝执行（原先静默冻结套用），与 walk-forward 已有的拒绝理由一致；确需复现加 --allow-lookahead-universe，偏差写入 unimplemented_json。 3) 新增实时（PIT）个股画像闸门 - profile/pit.py：每个决策日按当时可见数据重算过去 5 年画像，惰性（仅买入条件已触发的标的）、面板按 asof 缓存、规则不含财务指标时不查财报表；被剔除时产出 REJECT + 逐规则留痕。 - 指标定义复用 ProfileBuilder._profile_one（与批量画像逐值等价的回归测试）。 - profile/coverage.py：窗口覆盖率（按交易日历的真实开市天数），策略新增 entry.profile_gate.min_window_coverage（默认 0，不改变既有行为）。 - core/metrics.py：闸门可用指标的唯一定义（配置期即校验，避免写错指标名静默失效）。 4) 行情回补到 2005（使 5/8/10 年窗口真正完整） - stock_daily / adjust_factor / daily_basic 补到 2005-01-04； hd_suspend / hd_limit 补到 2010-01-04。 - 5 年窗口覆盖率：2018-05-18 由 67.0% → 99.1%，2016-12-30 由 39.8% → 99.0%；残差经逐日与 hd_suspend 交叉核实为真实停牌（16/16 命中）。 - 审计 G2/G3 与断点续传原先用固定阈值（2000 / 1500 只），会把 2005-2009 的正常数据误判为异常 —— 改为按「当年应有上市股票数」成比例判定。 - 节流修正：daily/adj_factor/daily_basic 限频 480 → 170（实测该 token 约 196/min 即被拒）。 5) 自我声明如实化 - 原先「约束未生效」由「过滤后集合为空」判定，会把「这批股票恰好没停牌」误报成「hd_suspend 无数据」；改为按表级判定。 - 补齐此前静默的「配置承诺但未实现」项：suspended_rule/limit_up_down_rule 的 defer、 cash_mode=reinvest/reinvest_rule、handle_rights_issue、signal_to_execution、 max_volume_pct、liquidity_limit_pct_adv —— 全部写入 unimplemented_json。 6) 手册：新增 §0「全流程操作（选股 → 画像 → 回测）」置于最前 - 逐步说明「命令做了什么、数据从哪来、落了哪些库、有哪些坑」；含实时画像闸门 9 问 9 答、未来函数守卫表、成交与成本口径、验证 SQL。 - 修正旧 §2.4 漏传 --universe-run（选了池子却没用于回测）；修正两处声称「停牌顺延」「分红再投资」已实现的相反表述。测试：403 项全部通过（含新增 test_units.py、test_profile_pit.py、未实现声明诚实性测试、行序无关性回归测试）。注意：本提交中 docs/*、README.md、src/hdiv/web/service.py 除本轮修改外，也含此前遗留的未提交改动（无法按文件切分）。	2026-10-04 12:47:17 +08:00
simon	fb6608193b	功能：Web 前端与报告格式化（工作区中此前未提交的工作）说明：本提交不是本轮会话所做，而是工作区里此前遗留的未提交改动。为把历史分开，先单独提交它，再提交本轮会话的修改。包含： - Web 前端：web/index.html、web/app.js（统一 SPA，含回测/画像/Walk-forward 页面） - 后端接口：web/server.py 路由、web/analysis.py（新增个股分析） - 报告层：report/format.py（新增统一数字格式化 NumFmt）、 report/{backtest,profile,sensitivity,universe,walkforward}_report.py 接入 NumFmt、 report/renderer.py - 股息率口径：factor/dividend_yield.py（毛刺消除 smooth_spikes） - 筛选：universe/selector.py、universe/filters/dividend.py - 绩效/敏感性：analysis/performance.py、analysis/sensitivity.py - 部署：deploy/install-service.sh - 测试：tests/test_format.py、tests/test_dividend_smoothing.py（新增）、 tests/test_web.py、tests/test_universe.py 提交时全量测试 403 项通过。	2026-10-04 12:47:10 +08:00
simon	fce725e13c	初始提交：高股息策略研究与回测系统从 Point-in-Time 股票筛选到统一 Web 前端的完整链路：筛选 → 画像 → 策略 → 回测 → Walk-forward → 绩效分析 → 报告/前端。架构 - 数据层与策略层分离；策略代码不写 SQL，只经 data/repo.py 取数 - 所有业务阈值集中在 config/.yml，代码零硬编码（字段写错直接报错） - 报告只做「run_id → SQL → 渲染」，不做任何计算，数字可追溯 - 前后端分离：output/ 静态站点 + hdiv web 提供的 REST API 数据安全 - 只增不删：SQL 钩子拦截 DELETE/DROP/TRUNCATE，并有源码扫描测试守护 - qlib 原有表只读，本项目数据写入 hd_ 前缀表 - 回补使用 INSERT IGNORE，保证既有行零改动 - .env 存密钥且已 gitignore；output/、logs/、.venv/ 不入库交付物 - 30 张 hd_ 表、7 个 YAML 配置、283 项自动化测试 - 统一 Web 前端（hash 路由 SPA）+ nginx 部署配置与 launchd 托管脚本如实声明的限制 - 策略缺少稳定的样本外超额收益（Walk-forward 7 窗口均值 -0.95%，基准 +2.29%）；其价值体现在回撤控制，而非超额收益 - 涨跌停/停牌约束仅覆盖 2019 年起；index_weight 尚未填充 - AI Agent 层（plan.md 第四版 P8）未实现详见 docs/user-guide.md 与 docs/implementation-status.md。	2026-10-03 13:54:56 +08:00

Author

SHA1

Message

Date

simon

14ec0c6c86

修复：量价单位 / 未来函数守卫 / 实时画像闸门；行情回补到 2005；手册补全流程

本轮会话的三项正确性改造（均为「不报错、只让结果静默错」的类型）：

1) 修复 stock_daily 量价单位前后不一致
   - 现象：2015-2019 存 Tushare 原始单位（手/千元），2020 起存（股/元），2019 同日混合；
     而流动性阈值按「元」配置 → 早年门槛实际是「日均成交额 ≥ 200 亿元」，
     把 2015-2019 的股票池整体清空（实测 2016/2017/2018 各选出 0 只）。
   - 修复：写入端 sync/price.py 统一换算；读取端 units.normalize_ohlcv_units
     按行判定并幂等换算（price_history / avg_amount 都走它）；
     审计新增 UNIT-OHLCV 防回归。
   - 效果：2016/2017/2018 的股票池变为 7/11/13 只。

2) 未来函数守卫（单次回测）
   - 股票池自带 asof：若晚于回测起点即**拒绝执行**（原先静默冻结套用），
     与 walk-forward 已有的拒绝理由一致；确需复现加 --allow-lookahead-universe，
     偏差写入 unimplemented_json。

3) 新增实时（PIT）个股画像闸门
   - profile/pit.py：每个决策日按当时可见数据重算过去 5 年画像，
     惰性（仅买入条件已触发的标的）、面板按 asof 缓存、
     规则不含财务指标时不查财报表；被剔除时产出 REJECT + 逐规则留痕。
   - 指标定义复用 ProfileBuilder._profile_one（与批量画像逐值等价的回归测试）。
   - profile/coverage.py：窗口覆盖率（按交易日历的真实开市天数），
     策略新增 entry.profile_gate.min_window_coverage（默认 0，不改变既有行为）。
   - core/metrics.py：闸门可用指标的唯一定义（配置期即校验，避免写错指标名静默失效）。

4) 行情回补到 2005（使 5/8/10 年窗口真正完整）
   - stock_daily / adjust_factor / daily_basic 补到 2005-01-04；
     hd_suspend / hd_limit 补到 2010-01-04。
   - 5 年窗口覆盖率：2018-05-18 由 67.0% → 99.1%，2016-12-30 由 39.8% → 99.0%；
     残差经逐日与 hd_suspend 交叉核实为真实停牌（16/16 命中）。
   - 审计 G2/G3 与断点续传原先用固定阈值（2000 / 1500 只），
     会把 2005-2009 的正常数据误判为异常 —— 改为按「当年应有上市股票数」成比例判定。
   - 节流修正：daily/adj_factor/daily_basic 限频 480 → 170（实测该 token 约 196/min 即被拒）。

5) 自我声明如实化
   - 原先「约束未生效」由「过滤后集合为空」判定，会把「这批股票恰好没停牌」
     误报成「hd_suspend 无数据」；改为按表级判定。
   - 补齐此前静默的「配置承诺但未实现」项：suspended_rule/limit_up_down_rule 的 defer、
     cash_mode=reinvest/reinvest_rule、handle_rights_issue、signal_to_execution、
     max_volume_pct、liquidity_limit_pct_adv —— 全部写入 unimplemented_json。

6) 手册：新增 §0「全流程操作（选股 → 画像 → 回测）」置于最前
   - 逐步说明「命令做了什么、数据从哪来、落了哪些库、有哪些坑」；
     含实时画像闸门 9 问 9 答、未来函数守卫表、成交与成本口径、验证 SQL。
   - 修正旧 §2.4 漏传 --universe-run（选了池子却没用于回测）；
     修正两处声称「停牌顺延」「分红再投资」已实现的相反表述。

测试：403 项全部通过（含新增 test_units.py、test_profile_pit.py、
未实现声明诚实性测试、行序无关性回归测试）。

注意：本提交中 docs/*、README.md、src/hdiv/web/service.py 除本轮修改外，
也含此前遗留的未提交改动（无法按文件切分）。

2026-10-04 12:47:17 +08:00

simon

fb6608193b

功能：Web 前端与报告格式化（工作区中此前未提交的工作）

说明：本提交**不是本轮会话所做**，而是工作区里此前遗留的未提交改动。
为把历史分开，先单独提交它，再提交本轮会话的修改。

包含：
- Web 前端：web/index.html、web/app.js（统一 SPA，含回测/画像/Walk-forward 页面）
- 后端接口：web/server.py 路由、web/analysis.py（新增个股分析）
- 报告层：report/format.py（新增统一数字格式化 NumFmt）、
  report/{backtest,profile,sensitivity,universe,walkforward}_report.py 接入 NumFmt、
  report/renderer.py
- 股息率口径：factor/dividend_yield.py（毛刺消除 smooth_spikes）
- 筛选：universe/selector.py、universe/filters/dividend.py
- 绩效/敏感性：analysis/performance.py、analysis/sensitivity.py
- 部署：deploy/install-service.sh
- 测试：tests/test_format.py、tests/test_dividend_smoothing.py（新增）、
  tests/test_web.py、tests/test_universe.py

提交时全量测试 403 项通过。

2026-10-04 12:47:10 +08:00

simon

fce725e13c

初始提交：高股息策略研究与回测系统

从 Point-in-Time 股票筛选到统一 Web 前端的完整链路：
筛选 → 画像 → 策略 → 回测 → Walk-forward → 绩效分析 → 报告/前端。

架构
- 数据层与策略层分离；策略代码不写 SQL，只经 data/repo.py 取数
- 所有业务阈值集中在 config/*.yml，代码零硬编码（字段写错直接报错）
- 报告只做「run_id → SQL → 渲染」，不做任何计算，数字可追溯
- 前后端分离：output/ 静态站点 + hdiv web 提供的 REST API

数据安全
- 只增不删：SQL 钩子拦截 DELETE/DROP/TRUNCATE，并有源码扫描测试守护
- qlib 原有表只读，本项目数据写入 hd_ 前缀表
- 回补使用 INSERT IGNORE，保证既有行零改动
- .env 存密钥且已 gitignore；output/、logs/、.venv/ 不入库

交付物
- 30 张 hd_* 表、7 个 YAML 配置、283 项自动化测试
- 统一 Web 前端（hash 路由 SPA）+ nginx 部署配置与 launchd 托管脚本

如实声明的限制
- 策略缺少稳定的样本外超额收益（Walk-forward 7 窗口均值 -0.95%，
  基准 +2.29%）；其价值体现在回撤控制，而非超额收益
- 涨跌停/停牌约束仅覆盖 2019 年起；index_weight 尚未填充
- AI Agent 层（plan.md 第四版 P8）未实现

详见 docs/user-guide.md 与 docs/implementation-status.md。

2026-10-03 13:54:56 +08:00