simon/qlib
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
80 Commits 1 Branch 0 Tags
7e369d968091a53bc5e59e8d3f414e3d8f565bf3
Commit Graph
6 Commits
Author SHA1 Message Date
Simon 7e369d9680 feat(quant): 单策略引擎也给出买卖理由与因子曲线（口径与组合引擎一致） 
「因子组合」/`POST /api/research/backtests` 走的是 `LocalEngine/TopKBacktestRunner`，
上一版只把理由接进了组合引擎，同一件事在两个引擎上就会有两种说法。这次补齐：

- `engine.py` / `qlib_adapter/engine.py`：因子面板**只算一次**
  （`build_factor_panels_full`）→ 复合分与「理由里引用的因子原始值」同源同张面板；
  复合分口径逐字未变（与 `selection.score_panel_for_factors` 相同）。
- `local_engine.py`：调仓日保留完整排名与合格集，各站点写入结构化理由 ——
  买入（按名次建仓 / 顺延成交 / 涨停 / 停牌 / 现金不足 / 不足最低佣金）、
  卖出（全量换仓 / 跌出 TopN / 不在候选池 / 停牌顺延 / 跌停顺延）；
  `Trade.entry_reason/exit_reason` 两端齐全；每个交易日记录持仓市值，
  结果填 `factor_curves`（持仓市值加权平均的因子原始值，空仓日不落点）。
- 新增 `SELL_REBALANCE_FULL`（「调仓换仓卖出」）：单策略调仓是「先全清再建仓」，
  被卖出的股票**可能仍排在 TopN 内**（如 rank=1），这时写「跌出 TopN」就是假解释；
  按事实分 code（仍在 TopN 内 → 全量换仓；否则 → 跌出 TopN / 不在候选池）。
- 顺延成交不拿挂单日的旧名次冒充当日名次（rank/total/score=None，因子值/成交价/预算
  取成交当日真实值）；「候选池不足」的提示记录保持 reason=None（词表里没有对应语义，
  硬套就是编理由）。

验证：
- 新增 `tests/test_local_engine_reasons.py` 14 条：理由数字对回面板、涨停比值对回行情与
  板块规则、停牌/跌停/现金不足/最低佣金、顺延成交、全量换仓 vs 不在池两个分支、
  Trade 两端理由、因子曲线市值加权（手算加权值断言 + 等权平均对不上）、空仓不落点。
  后端 524 条全过（510 + 14），ruff clean。
- 强回归：用改前引擎并排跑 9 个场景，`signal_history`(日期/方向/成交/原因文案/价格)、
  `trades`、`positions`、`summary`、净值/回撤、`unimplemented` 逐条一致 —— 理由与曲线
  是纯新增字段，成交行为零变化。
 2026-10-01 18:08:42 +08:00
Simon 23972e7063 feat: 股息率案例口径 + 策略库与图表统一 + 回测存档完整化 
汇总三轮未提交的开发（每轮均在本机 MariaDB + 真实浏览器上验证）：

1) 股息率案例（全市场股息率最高 n 只，默认 20，每 m 月择股）
   - 新增日频估值表 daily_basic + 迁移；股息率因子（dv_ratio / dividend_yield / TTM）
   - 名称历史表 stock_name_history：剔除 ST 按**择股日当时名称**判定，消除
     「曾高股息后 ST」的股息陷阱（实测 3.70pp 偏差）
   - 区间择股/调仓双周期（m 择股 / y 调仓）、指数成分与白名单、停牌近似剔除
   - 复权因子口径核对（4,164,742 行、缺失 0.0%）、收盘价成交与涨跌停拦单
   - 案例实测：2020-01-01~2026-09-04 总收益 +24.86%（年化 3.52%、回撤 -28.58%）

2) 策略库与前端统一
   - strategy 表 + CRUD/PUT 原地更新 + `describe_strategy` 按 spec 真实推导
     「一句话说明 + 计算公式 + 执行步骤 + 注意事项」（与引擎实执行规则同源）
   - 任何出现股票代码处都成对显示名称且可点击进个股页
   - 全站图表基座统一 TradingView Lightweight Charts（ECharts 依赖、
     锁文件、组件与文档标注一并清除），买卖点标记只落在真实交易日上

3) 回测存档完整化（可往复查看）
   - 同步端点（POST /api/backtests、/api/factor-tests）此前完全不落库 → 现在同样归档，
     归档 id 经响应头 X-Experiment-Id 返回（不破坏 response_model）
   - data_version 首次真实写入（数据快照指纹：最新交易日 + 各表规模）
   - 个股收益曲线默认**全量保存**（此前硬截断 60 只）；超出体积预算才裁剪，
     并写 archive_meta（机器可读）+ unimplemented（人可读）如实标注
   - 列表 kind/q 过滤 + X-Total-Count（此前 limit=50 静默截断）、DELETE 归档
   - 只读归档页 /experiments/{id}（Server Component，SSR 直出**选股条件**与
     **交易执行依据**）；结果视图按 kind 分发（backtest/factor_test/selection），
     非回测归档不套用回测口径
   - 新增 CLI：prune_experiments（保留策略，默认 dry-run）、
     restore_experiment_from_job（从 Job 副本按原 id 重建被删的历史归档，默认 dry-run）

门禁：pytest 388 passed、ruff All checks passed、tsc 0 错误、图表单测 7 passed、
next build 成功、契约脚本 verify_strategy_workspace 59/59（含按 kind 逐类验证归档页）。
 2026-09-20 07:31:04 +08:00
Simon 195f5d41f4 perf(backend): 内存优化三项——全市场研究不再占满 8G 
1) 数据装配流式+列裁剪：Repository 新增 stream_range_many_columns（只 SELECT
   所需列、SQL 侧转 REAL、yield_per 分批），引擎按 required_columns 取数
   （LocalEngine 仅 close+因子字段），消除 ORM/Decimal 全量物化；
2) 研究 Job 独立子进程执行（job.mode=subprocess）：python -m app.cli.run_job
   在子进程内设 RLIMIT_AS 上限，OOM 归档 failed 而非拖垮 API worker；
   子进程异常退出由父进程补记 failed；并发上限 2；
3) 服务启动清理：残留 queued/running Job 标记 failed（防永久 running）。

实测同款全市场回测：uvicorn worker RSS 稳定 ~220MB，任务峰值内存由 4.1GB+
降至 ~470MB，24s 完成并归档（此前 43s 未完成即 OOM）。
新增/更新测试 96 passed，ruff 干净。
 2026-09-06 22:12:44 +08:00
Simon b8f67f99ae feat(quant): QlibEngine v1 — 本地行情落盘 QlibDataset → D.features 读取 → 因子回测 
- qlib_adapter/provider.py：SQLite 行情按 qlib 0.9.8 二进制格式落盘（起始索引头 + 逐日 float32、instruments 3 列、小写 instrument、晚上市 offset）
- qlib_adapter/dataset.py：qlib.init 幂等（{'day': uri}）+ D.features 读取 close 面板
- qlib_adapter/engine.py：QlibEngine（QuantEngine）v1 —— Qlib 数据管线回测与 LocalEngine 同记账规则（无未来函数/成本/涨跌停标注），factor_test 复用共享实现；Alpha158+LightGBM 为 TODO
- 真实 20 股验证：qlib 落盘 142 文件→读取→回测（-12.81%，Local 对照 -12.97%，差异为 qlib float32 存储）
- tests/test_qlib_engine.py 5 项（格式/roundtrip/晚上市 offset/回测/因子测试）→ pytest 86 passed / ruff clean
 2026-09-06 18:20:28 +08:00
Simon 8f8b6d274f feat: 解决 aarch64 上 Qlib 安装（源码 git 固化依赖）并记录下载代理规则 
- backend/pyproject.toml + uv.lock: pyqlib 以 git+https 固定 commit 79633dd 注册为核心依赖，
  替代无法在 Linux aarch64 安装的 PyPI wheel（ROADMAP §2 旧备注）
- engine.py: 更正占位说明（Qlib 现已可安装，工作流实现待 Phase 2 补齐）
- AGENT.md §0: 网络下载困难时使用 HTTP 代理 192.168.1.160:3128
- README / ROADMAP: 同步 Qlib 安装方式与代理说明
 2026-09-06 17:45:01 +08:00
Simon e9f59d3cf8 feat(backend): Phase 2 研究引擎 — ResearchSpec / 因子 / 评估 / 低频回测 / 引擎抽象 
- domain：ResearchSpec（universe/factors/selection/rebalance/costs 校验）+ 标准化 BacktestResult / FactorTestReport
- 因子引擎：注册表 + 元数据，内置 9 个行情因子（momentum/volatility/量比/乖离/反转），支持自定义注册；只用行情字段规避未来函数
- 评估：横截面 IC / RankIC（rank+pearson 免 scipy）/ ICIR / 分层收益
- 回测：TopK 等权低频，无未来函数记账（t 收盘成交、自 t+1 计收益），成本/涨跌停/停牌约束，未建模项显式写入 unimplemented（AGENT §24）
- 引擎抽象 QuantEngine + LocalEngine（pandas 默认实现）；qlib_adapter 桥接占位 —— pyqlib 无 aarch64+cp312 wheel（ROADMAP 已备注）
- 真实链路冒烟：600519 2024 月度动量回测闭环产出标准结果
- 测试 60 passed / ruff clean
 2026-09-06 17:08:00 +08:00