Simon 40bd603b44 feat(backend): 策略库重构为「选股策略 + 公共配置 + 回测组合」三件套
按用户目标把原来「一个策略 = 全套参数」拆开(已确认的设计决策):
- 公共配置 GlobalConfig(全局唯一):佣金/印花税/滑点/最低佣金/复权口径/基准
- 选股策略 SelectionStrategy(原 StrategyDefinition 改名):只剩股票池+因子+条件,
  不再持有 selection/rebalance/costs/portfolio/区间/资金
- 回测组合 BacktestCombo:引用若干选股策略 + 回测时才定的参数
  (起始资金、持仓数 N、持仓天数区间 [Tmin,Tmax]、调仓时机 日/周/月、区间)

引擎(app/quant/combo_engine.py,新增):
- 多策略打分 = 并集 + Borda 秩和(各策略 1/名次 求和;不假设不同策略分值可比,
  能容纳各策略股票池不同);抽出纯函数 borda_combine 便于单测
- 持仓天数区间 [Tmin,Tmax]:Tmax **每个交易日**强制了结(安全阀,月频下也不超期);
  Tmin 仅在调仓日保护(掉出 TopN 但未满 Tmin 暂留,防频繁换手);调仓日为增量调仓
  (只卖超期/掉队且满 Tmin 的,从 TopN 补买至 N 只,不主动减持以尊重 Tmin)
- 调仓时机 daily/weekly/monthly(local_engine.rebalance_dates 新增日频分支)
- 产出与旧 runner 同构的 BacktestResult,前端可视化无需改动;config_snapshot 固化
  ComboRunSpec(组合+当时各策略定义+当时成本/复权)保证可复现

数据层:
- 新表 global_config(默认行:万三/hfq/最低佣金5元)、backtest_combo
- 迁移 b4c5d6e7f8a9:建两表 + 把存量 strategy.config_json 的回测参数键剥掉、
  spec_type 收敛为 selection(已在真实 MariaDB 验证:STG-16BFBF08 清洗后只剩
  universe/factors/conditions)
- 仓储 SqlAlchemyGlobalConfigRepository / SqlAlchemyComboRepository + Protocol

API:
- /api/config GET/PUT;/api/combos CRUD + /{id}/run + /run(kind=combo 异步 Job)
- job_executor 新增 combo 分支:取齐策略+读公共配置→ComboService.run,归档 kind
  记 backtest(结果结构相同)
- /api/strategies 切到 SelectionStrategy,移除已废弃的 /{id}/expand
- strategy_doc.describe_strategy 支持 SelectionStrategy(只讲「怎么选」,如实声明
  资金/持仓/调仓/成本/区间在回测组合里定)

旧的 ResearchSpec + /api/backtests 保留(因子测试与既有契约自检仍用),
作为底层 escape hatch;用户产品路径改为回测组合。

测试:新增 test_combo_engine(6)/test_combo_service(3)/test_combo_api(5),
改写 test_strategies/test_strategy_doc 适配新模型。全量 403 passed(原 388)。
2026-09-30 21:43:28 +08:00
2026-09-06 15:54:00 +08:00

qlib-platform

个人 A 股量化研究平台:股票筛选 · 因子研究 · 交易信号 · 选股回测,面向低频 / 中低频交易研究。

核心量化引擎:Qlib · 首选数据源:Tushare(新浪财经为备用)· 当前数据库:MySQL(业务层无感切换;SQLite 仅兜底)

定位

  • 个人开发项目,中低频选股 / 因子 / 组合回测
  • 不做高频交易、不做过度的微服务化
  • 以 Qlib 为研究引擎,但 Qlib 只是计算引擎而不是整个系统
  • AI Agent(Phase 5)只能通过受控 Tool 调用研究能力

架构

详见 AGENT.md(开发约束)与 docs/ARCHITECTURE.md(架构文档),改代码前必须阅读。

Web 前端 (frontend/web:总览 / 股票池 / 股票筛选 / 因子研究 / 因子组合 / 交易信号 / 选股回测 / 实验 / 归档详情)
   ↓ REST / SSE(异步 Job 状态机)
FastAPI (backend:业务对象 API,见下「核心能力」)
   ↓ Research Specification(统一研究契约)
Application Service(SelectionService / SignalService / ResearchService / Strategy …)
   ├── Selection Engine(条件选股 / 因子评分 / as_of 历史与当前一致)
   ├── Signal Engine(BUY / WATCH / SELL + 理由)
   ├── Portfolio Engine(等权;约束预留并如实标注)
   └── Quant Service ── Composite Engine ── Qlib Adapter ── Qlib
              ↓                        ↓
        Repository / DAO           MySQL(默认)/ Parquet

目录结构

qlib/
├── backend/            # FastAPI 后端(uv 管理,Python 3.12)
│   ├── app/
│   │   ├── api/                # HTTP API 层(面向业务对象,禁止暴露 Qlib/SQL)
│   │   ├── application/        # 用例 / 应用服务(编排,不含框架细节)
│   │   ├── domain/             # 领域实体 + Repository Protocol
│   │   ├── infrastructure/     # SQLAlchemy / Alembic 等基础设施实现
│   │   ├── quant/             # 因子 / composite / universe / selection / signal / portfolio 引擎
│   │   │   └── qlib_adapter/     # Qlib 适配层(业务禁止直接 import qlib)
│   │   ├── agent/              # AI Research Agent(Phase 5,仅 Tool 访问)
│   │   └── core/               # 配置、通用组件
│   └── tests/
├── frontend/web/       # React / Next.js 前端(Phase 3 初始化)
├── data/               # raw / normalized / parquet / qlib(不入库,gitignore)
├── experiments/        # 实验产物(不入库,gitignore)
├── scripts/            # 数据同步、运维脚本
├── docker/             # 部署(Phase 后引入,第一阶段不过度工程)
├── docs/
├── AGENT.md
├── config.yaml         # 可配置项(无密钥)
└── .env.example        # 密钥模板(复制为 .env,勿提交)

使用说明

完整使用文档(安装 / 配置 / 数据同步 / API / Agent / 常见问题)见 docs/USAGE.md。

快速开始(后端)

前置:安装 uv(pip install uv 或官方脚本)。

# 1. 配置密钥(复制模板,填入 TUSHARE_TOKEN 等)
cp .env.example .env

# 2. 安装依赖(自动使用 Python 3.12,见 backend/.python-version)
cd backend
uv sync   # 含 pyqlib(GitHub 源码依赖,固定 commit)。若网络下载困难/超时,按 AGENT.md §0 设置代理 192.168.1.160:3128 后重试

# 3. 运行测试
uv run pytest                       # 全量 388 条
uv run ruff check app tests

# 3b. 端到端契约自检(真实提交回测 Job,验证页面↔后端字段不漂移)
PYTHONPATH=. .venv/bin/python ../scripts/verify_strategy_workspace.py       # 策略库/说明/名称/选股直通/归档链路(59 项)
PYTHONPATH=. .venv/bin/python ../scripts/verify_backtest_page_contract.py   # 回测结果结构契约
python3 ../scripts/verify_ui_alignment.py                                  # UI 对齐与控件一致性(140 项,需前端已启动)

# 4. 启动开发服务
uv run uvicorn app.main:app --reload --port 8000
# 健康检查:http://127.0.0.1:8000/api/health
# 交互文档:http://127.0.0.1:8000/docs

数据库(默认 MySQL)

  • 连接在根目录 config.yaml → database.mysql(host/port/db/user/charset),密码放 .env 的 MYSQL_PASSWORD;URL 优先级:DATABASE_URL 环境变量 > database.mysql > SQLite 兜底。
  • 结构变更(Model → Migration → Test):
cd backend
uv run alembic upgrade head          # 在当前配置指向的库上建表(默认 MySQL qlib)
uv run alembic revision --autogenerate -m "add xxx table"

核心能力(现状)

能力 说明 / 入口
股票筛选 POST /api/selections(A 条件/B 评分,as_of 历史/当前,可解释);POST /api/selections/jobs 全市场异步;Web /selection
因子目录 factor_definition 落库;GET /api/factors;组合可保存复用 POST /api/composites
因子研究 Job 异步 IC / RankIC / 分层测试(/api/jobs)
交易信号 POST /api/signals:评分排名 + 趋势规则 → BUY/WATCH/SELL + 理由;Web /signals
选股回测 POST /api/backtests(成本/涨跌停近似;与当前选股共用同一评分引擎,v2 §25 一致性)
定期调仓回测 两级截断(候选池 n → 持仓 x)+ 双周期(每 m 月择股 / 每 y 月调仓)+ 复权口径(none/qfq/hfq)+ 组合条件过滤 + 最低佣金;输出净值/个股曲线并标注买卖点;Web /backtest(含高股息案例预设)、scripts/run_dividend_case.py
每日指标 daily_basic(股息率 dv_ratio/dv_ttm、PE/PB/市值)+ dividend_yield 因子;sync daily_basic 回补
退市股与时点股票池 sync basic --include-delisted 入库已退市/暂停上市(status/delist_date)+ 定向 sync daily 补行情;filter_stocks 按 as_of 正确纳入/排除(实测 338 只)
时点 ST / 名称历史 sync namechange 入库名称生效区间(14,213 行);exclude_st 在每个择股日按当时名称判定(回测与 /api/selections 同口径),消除「曾高股息后 ST」的股息陷阱隐藏偏差(实测 3.70pp)
策略库 strategy 落库 + /api/strategies CRUD/PUT 原地更新/展开为回测 spec;每个策略有后端推导的「一句话说明 + 计算公式 + 执行步骤 + 注意事项」(describe_strategy,与引擎实执行规则同源);一键回测;Web /strategies
Experiment / 归档 完整存档:每次回测(异步 Job 与同步接口都算)把结果 + spec + code_version + data_version 数据快照指纹写入 experiment 表,个股收益曲线默认全量保存(超出体积预算才裁剪并显式标注);列表支持 kind/q 过滤且总数经 X-Total-Count 暴露(不再静默截断);DELETE /api/experiments/{id} + python -m app.cli.prune_experiments --keep N(默认 dry-run,删除即失去结果,建议先导出)治理体积;实验对比:勾选 2~3 个 → 归一化净值曲线叠加 + 指标差值表 + config_snapshot 参数 diff;归档详情页 /experiments/{id}(Server Component)只读复看完整结果,并明确回答「选股条件」与「交易执行依据」;归档页可导出完整 JSON / 以此参数再跑 / 删除(确认框写明后果);体积用 app.cli.prune_experiments(默认 dry-run)治理,删错的历史归档可用 app.cli.restore_experiment_from_job 从 Job 副本按原 id 重建
图表基座 统一 TradingView Lightweight Charts 4.2.3:components/charts/LwChart.tsx(折线/面积/柱状 + 买卖点标记 + tooltip + 可点击图例)与 components/StockChart/CandleChartLW.tsx(个股 K 线 + 成交量 + MA);ECharts 已完全下线(package.json、pnpm-lock.yaml、node_modules、文档与架构图标注均已清除)。实测个股页图表根节点是 Lightweight Charts 自身的 div.tv-lightweight-charts,页面 canvas 无一来自其它图表库
代码即名称 任何出现股票代码的位置都成对显示股票名称且可点击进入个股页(基本信息 + 走势图);后端在 SelectionCandidate/SymbolCurve/ActionRecord/RankedPick/Position/Trade 上填充 name,前端 GET /api/stocks/names 一次性缓存兜底
AI Agent POST /api/agent/chat,14 个受控 Tool(v3 §25 全清单)

里程碑(详见 ROADMAP.md 与 docs/DEV_PLAN_v2.md)

  • M0–M5:工程骨架 → 数据层 → 研究引擎 → Web → Experiment/Job → AI Agent
  • M-DB:SQLite 全量迁移 MySQL(config.yaml 配置化 + 迁移工具 + 一致性校验)
  • M6:选股系统主线(Universe + Selection A/B + 落库/API + 回测共用 + Web)
  • M7:因子层(因子定义入库 + Composite 模块化 + 行情口径显式化)
  • M8:Signal / Portfolio / Strategy / Agent 工具 / Web 做实(M8.4 Qlib 模型选股按需延后)
  • V3(见 DEV_PLAN_v3):Chart Service/K线与成交点、Signal↔Fill 区分、个股研究页、 复权口径、Bar Replay、指数历史成分、因子相关性、组合单股上限、Job stage/取消、 选股异步化、Agent 14 工具(B2/B3 停牌/ST/报表与 C3 模型选股/D3 Redis 按需延后)

约定速查

  • 回答与文档使用中文
  • 一切时间相关数据防「未来函数」:财务数据区分 report_date / announce_date,查询支持 as_of_date
  • 数据源必须经 MarketDataProvider(Tushare 优先,Sina 兜底且记录来源),业务层禁止直接 import 新浪 / Tushare 实现
  • 业务层禁止直接操作 sqlite3 / SQL / SQLAlchemy Session,只能走 Repository
  • 新表:Model → Alembic Migration → Test
  • 禁止修改 site-packages/qlib 源码,一律走 Adapter / Wrapper
  • API 输入输出用 Pydantic DTO,禁止把 ORM Model 直接暴露给前端
S
Description
Qlib base的选股和回测平台
Readme GPL-3.0
6.2 MiB
Languages
Python 68.5%
TypeScript 22.9%
CSS 7.8%
Shell 0.8%