simon/qlib
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
85 Commits 1 Branch 0 Tags
57d6082f914e9def60bab185e91800e5beebff40
Commit Graph
10 Commits
Author SHA1 Message Date
Simon 57d6082f91 fix: 如实说明买卖理由的覆盖边界（哪些不算买卖点） 
`unimplemented` 与「买卖说明」里都没写清一件事：理由覆盖的是 **signal_history 里的
每个买卖点（含涨停/停牌/跌停/现金不足等未成交情形）**，而「当日排名在 TopN 之外、
策略本来就无意买入」的候选根本不算买卖点 —— 用户看不到某只票的买入理由时，
应该能立刻分清「是漏了记录」还是「策略本来就没打算买」。

- 组合引擎与单策略引擎的 `_unimplemented` 各加一条说明，指向 `selection_history`
  可查完整候选与名次（AGENT.md §24：没实现/有边界的要显式写出）。
- 「买卖说明」卡片底部同步写出这条边界。
 2026-10-01 18:15:26 +08:00
Simon 7e369d9680 feat(quant): 单策略引擎也给出买卖理由与因子曲线（口径与组合引擎一致） 
「因子组合」/`POST /api/research/backtests` 走的是 `LocalEngine/TopKBacktestRunner`，
上一版只把理由接进了组合引擎，同一件事在两个引擎上就会有两种说法。这次补齐：

- `engine.py` / `qlib_adapter/engine.py`：因子面板**只算一次**
  （`build_factor_panels_full`）→ 复合分与「理由里引用的因子原始值」同源同张面板；
  复合分口径逐字未变（与 `selection.score_panel_for_factors` 相同）。
- `local_engine.py`：调仓日保留完整排名与合格集，各站点写入结构化理由 ——
  买入（按名次建仓 / 顺延成交 / 涨停 / 停牌 / 现金不足 / 不足最低佣金）、
  卖出（全量换仓 / 跌出 TopN / 不在候选池 / 停牌顺延 / 跌停顺延）；
  `Trade.entry_reason/exit_reason` 两端齐全；每个交易日记录持仓市值，
  结果填 `factor_curves`（持仓市值加权平均的因子原始值，空仓日不落点）。
- 新增 `SELL_REBALANCE_FULL`（「调仓换仓卖出」）：单策略调仓是「先全清再建仓」，
  被卖出的股票**可能仍排在 TopN 内**（如 rank=1），这时写「跌出 TopN」就是假解释；
  按事实分 code（仍在 TopN 内 → 全量换仓；否则 → 跌出 TopN / 不在候选池）。
- 顺延成交不拿挂单日的旧名次冒充当日名次（rank/total/score=None，因子值/成交价/预算
  取成交当日真实值）；「候选池不足」的提示记录保持 reason=None（词表里没有对应语义，
  硬套就是编理由）。

验证：
- 新增 `tests/test_local_engine_reasons.py` 14 条：理由数字对回面板、涨停比值对回行情与
  板块规则、停牌/跌停/现金不足/最低佣金、顺延成交、全量换仓 vs 不在池两个分支、
  Trade 两端理由、因子曲线市值加权（手算加权值断言 + 等权平均对不上）、空仓不落点。
  后端 524 条全过（510 + 14），ruff clean。
- 强回归：用改前引擎并排跑 9 个场景，`signal_history`(日期/方向/成交/原因文案/价格)、
  `trades`、`positions`、`summary`、净值/回撤、`unimplemented` 逐条一致 —— 理由与曲线
  是纯新增字段，成交行为零变化。
 2026-10-01 18:08:42 +08:00
Simon 40bd603b44 feat(backend): 策略库重构为「选股策略 + 公共配置 + 回测组合」三件套 
按用户目标把原来「一个策略 = 全套参数」拆开（已确认的设计决策）：
- 公共配置 GlobalConfig（全局唯一）：佣金/印花税/滑点/最低佣金/复权口径/基准
- 选股策略 SelectionStrategy（原 StrategyDefinition 改名）：只剩股票池+因子+条件，
  不再持有 selection/rebalance/costs/portfolio/区间/资金
- 回测组合 BacktestCombo：引用若干选股策略 + 回测时才定的参数
  （起始资金、持仓数 N、持仓天数区间 [Tmin,Tmax]、调仓时机 日/周/月、区间）

引擎（app/quant/combo_engine.py，新增）：
- 多策略打分 = 并集 + Borda 秩和（各策略 1/名次 求和；不假设不同策略分值可比，
  能容纳各策略股票池不同）；抽出纯函数 borda_combine 便于单测
- 持仓天数区间 [Tmin,Tmax]：Tmax **每个交易日**强制了结（安全阀，月频下也不超期）；
  Tmin 仅在调仓日保护（掉出 TopN 但未满 Tmin 暂留，防频繁换手）；调仓日为增量调仓
  （只卖超期/掉队且满 Tmin 的，从 TopN 补买至 N 只，不主动减持以尊重 Tmin）
- 调仓时机 daily/weekly/monthly（local_engine.rebalance_dates 新增日频分支）
- 产出与旧 runner 同构的 BacktestResult，前端可视化无需改动；config_snapshot 固化
  ComboRunSpec（组合+当时各策略定义+当时成本/复权）保证可复现

数据层：
- 新表 global_config（默认行：万三/hfq/最低佣金5元）、backtest_combo
- 迁移 b4c5d6e7f8a9：建两表 + 把存量 strategy.config_json 的回测参数键剥掉、
  spec_type 收敛为 selection（已在真实 MariaDB 验证：STG-16BFBF08 清洗后只剩
  universe/factors/conditions）
- 仓储 SqlAlchemyGlobalConfigRepository / SqlAlchemyComboRepository + Protocol

API：
- /api/config GET/PUT；/api/combos CRUD + /{id}/run + /run（kind=combo 异步 Job）
- job_executor 新增 combo 分支：取齐策略+读公共配置→ComboService.run，归档 kind
  记 backtest（结果结构相同）
- /api/strategies 切到 SelectionStrategy，移除已废弃的 /{id}/expand
- strategy_doc.describe_strategy 支持 SelectionStrategy（只讲「怎么选」，如实声明
  资金/持仓/调仓/成本/区间在回测组合里定）

旧的 ResearchSpec + /api/backtests 保留（因子测试与既有契约自检仍用），
作为底层 escape hatch；用户产品路径改为回测组合。

测试：新增 test_combo_engine(6)/test_combo_service(3)/test_combo_api(5)，
改写 test_strategies/test_strategy_doc 适配新模型。全量 403 passed（原 388）。
 2026-09-30 21:43:28 +08:00
Simon 23972e7063 feat: 股息率案例口径 + 策略库与图表统一 + 回测存档完整化 
汇总三轮未提交的开发（每轮均在本机 MariaDB + 真实浏览器上验证）：

1) 股息率案例（全市场股息率最高 n 只，默认 20，每 m 月择股）
   - 新增日频估值表 daily_basic + 迁移；股息率因子（dv_ratio / dividend_yield / TTM）
   - 名称历史表 stock_name_history：剔除 ST 按**择股日当时名称**判定，消除
     「曾高股息后 ST」的股息陷阱（实测 3.70pp 偏差）
   - 区间择股/调仓双周期（m 择股 / y 调仓）、指数成分与白名单、停牌近似剔除
   - 复权因子口径核对（4,164,742 行、缺失 0.0%）、收盘价成交与涨跌停拦单
   - 案例实测：2020-01-01~2026-09-04 总收益 +24.86%（年化 3.52%、回撤 -28.58%）

2) 策略库与前端统一
   - strategy 表 + CRUD/PUT 原地更新 + `describe_strategy` 按 spec 真实推导
     「一句话说明 + 计算公式 + 执行步骤 + 注意事项」（与引擎实执行规则同源）
   - 任何出现股票代码处都成对显示名称且可点击进个股页
   - 全站图表基座统一 TradingView Lightweight Charts（ECharts 依赖、
     锁文件、组件与文档标注一并清除），买卖点标记只落在真实交易日上

3) 回测存档完整化（可往复查看）
   - 同步端点（POST /api/backtests、/api/factor-tests）此前完全不落库 → 现在同样归档，
     归档 id 经响应头 X-Experiment-Id 返回（不破坏 response_model）
   - data_version 首次真实写入（数据快照指纹：最新交易日 + 各表规模）
   - 个股收益曲线默认**全量保存**（此前硬截断 60 只）；超出体积预算才裁剪，
     并写 archive_meta（机器可读）+ unimplemented（人可读）如实标注
   - 列表 kind/q 过滤 + X-Total-Count（此前 limit=50 静默截断）、DELETE 归档
   - 只读归档页 /experiments/{id}（Server Component，SSR 直出**选股条件**与
     **交易执行依据**）；结果视图按 kind 分发（backtest/factor_test/selection），
     非回测归档不套用回测口径
   - 新增 CLI：prune_experiments（保留策略，默认 dry-run）、
     restore_experiment_from_job（从 Job 副本按原 id 重建被删的历史归档，默认 dry-run）

门禁：pytest 388 passed、ruff All checks passed、tsc 0 错误、图表单测 7 passed、
next build 成功、契约脚本 verify_strategy_workspace 59/59（含按 kind 逐类验证归档页）。
 2026-09-20 07:31:04 +08:00
Simon 67d3aa1349 feat(portfolio): C2 单股上限约束真实执行（Portfolio v1.1） 
- portfolio.allocate_with_max_position：无上限=等权（与原实现一致）；有上限=迭代
  把超过 cap×当日组合市值的标的封顶并把剩余现金在其余标的中再分配，超出留现金
- TopKBacktestRunner 买入按约束分流（默认等权路径位级不变，回归数值保持）
- unimplemented 只保留行业上限（依赖行业元数据注入，如实标注）
- tests/test_portfolio_constraints.py（分配数值/封顶留现金/回测持仓权重≤上限+容差、
  config_snapshot）+ 旧断言更新（单股不再标注）；全量 pytest 通过
 2026-09-09 07:33:52 +08:00
Simon bfeac7aa4c feat(backtest): M9-2 回测补 selection_history/signal_history/fills（Signal↔Fill 区分） 
- BacktestResult 新增：RankedPick（调仓意图，与 select(as_of) 同源排序）、
  ActionRecord（BUY/SELL 意图 + filled + reject_reason/price）字段 selection_history /
  signal_history / fills（fills=signal_history 中 filled 子集）（v3 §20.3/§22.3）
- TopKBacktestRunner：调仓记录卖出/买入逐动作与是否成交；涨停/停牌导致的
  「BUY 信号未成交」保留原因；意图 picks 与执行 targets 分离（不因涨停悄悄改选股视图）
- ChartService.backtest_stock_chart 改用 history 生成三类标记（selection/signal/fill），
  未成交意图在图上可见（v3 §20.4）
- tests/test_backtest_history.py：意图=select 一致、fills 推导、涨停拒绝可见（构造 +10%
  涨停日）、序列化 roundtrip；相关回归（quant/consistency/charts）全过；全量 pytest 通过
 2026-09-09 07:12:36 +08:00
Simon 692bdb3be5 feat(portfolio): M8.2 Portfolio Engine 模块化（等权收敛 + 约束显式标注） 
- research.PortfolioSpec（weighting=equal；max_position_pct/max_industry_weight_pct 预留）
  + ResearchSpec.portfolio；config_snapshot 自动记录组合配置
- quant/portfolio.py：equal_weight_budget（与既有等权回测语义一致，行为收敛到本模块）+
  unimplemented_notes（设置约束即在结果中显式标注未建模，禁止假装支持）
- TopKBacktestRunner 预算与 unimplemented 改用 portfolio 模块；默认配置数值不变
  （一致性/quant 引擎回归通过）；tests 补约束标注与 config_snapshot；全量 pytest 通过
 2026-09-09 00:36:38 +08:00
Simon 273aee2772 refactor(quant): M7.2a Composite Engine 模块化（quant/composite.py） 
- cross_sectional_zscore / composite_score / build_factor_panels 从 local_engine 迁入
  quant/composite.py；新增统一入口 build_score_panel(daily, factor_specs)
- local_engine re-export 保持旧引用兼容；selection/engine 的评分面板构建均指向
  composite —— 选股与回测的复合分实现收敛于一处
- 回归：quant/eval/research/selection 一致性/qlib 引擎测试全过；全量 pytest 通过
 2026-09-09 00:29:23 +08:00
Simon 92627f5b6b feat: Phase 3 Web — 业务 API（stocks/factors/backtests）+ Next.js 前端 
- 后端业务 API：GET /api/stocks(搜索/分页)、GET /api/factors（因子目录）、POST /api/factor-tests 与 /api/backtests（Research Spec 驱动同步执行）、GET /api/backtests/last；Annotated 依赖注入 + CORS(dev)
- Repository 批量查询 get_range_many（研究装配一次查询，避免逐只拉取）
- 前端 frontend/web：Next.js 15(TS) + ECharts —— 总览 / 股票池 / 因子研究(IC·RankIC·分层展示) / 回测（净值·回撤·月度·持仓·未建模标注）
- 前端只消费业务 API 与标准化 BacktestResult，无 Qlib/SQL 概念泄漏
- 真实数据：同步 20 只权重股 2023-2024 日线（9680 根）支撑截面研究
- 验证：API 集成测试 8 项（DTO 校验/装配/引擎/标准结果，内存 repo 全链路）+ 全量 pytest 68 passed；前端 tsc + next build 通过；无头浏览器端到端（factors/backtest 页面渲染后端数据）
- ruff clean
 2026-09-06 17:14:33 +08:00
Simon e9f59d3cf8 feat(backend): Phase 2 研究引擎 — ResearchSpec / 因子 / 评估 / 低频回测 / 引擎抽象 
- domain：ResearchSpec（universe/factors/selection/rebalance/costs 校验）+ 标准化 BacktestResult / FactorTestReport
- 因子引擎：注册表 + 元数据，内置 9 个行情因子（momentum/volatility/量比/乖离/反转），支持自定义注册；只用行情字段规避未来函数
- 评估：横截面 IC / RankIC（rank+pearson 免 scipy）/ ICIR / 分层收益
- 回测：TopK 等权低频，无未来函数记账（t 收盘成交、自 t+1 计收益），成本/涨跌停/停牌约束，未建模项显式写入 unimplemented（AGENT §24）
- 引擎抽象 QuantEngine + LocalEngine（pandas 默认实现）；qlib_adapter 桥接占位 —— pyqlib 无 aarch64+cp312 wheel（ROADMAP 已备注）
- 真实链路冒烟：600519 2024 月度动量回测闭环产出标准结果
- 测试 60 passed / ruff clean
 2026-09-06 17:08:00 +08:00