simon/qlib
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
75 Commits 1 Branch 0 Tags
2e90f3eeac76504e89ac1270d424c29d70561d82
Commit Graph
7 Commits
Author SHA1 Message Date
Simon 2e90f3eeac feat(backend): 字段库（condition_field）+ 因子参数化（模板/受控参数）+ 单位换算底座 
字段库（本次新增的表与接口）：
- `condition_field` 表 + `/api/condition-fields`：中文名/说明可编辑、可停用；
  `kind`/单位阶梯/`base_unit` 由代码注册表收敛（改类型 422，伪字段 422，
  越界单位 422），停用的字段不再进条件下拉，但既有策略仍按名字解析。
- 说明书里的数值条件按字段注册表补**基准单位**后缀（字段间比较不加，不猜单位）。

因子参数化（键即身份，冻结口径）：
- 模板 + 参数注册表（`quant/factors.py`）：`ParamSpec`（类型/范围/枚举/默认值/说明）+
  `FactorTemplate`（公式/依赖列/参数）；规范键把**全部**参数写进名字，如
  `momentum(window=90,direction=lower_is_better)`，所以改参数 = 新建一个身份，
  旧因子/既有策略/已归档实验都不变义；`momentum(window=90)`（缺参数）明确拒绝 ——
  缺项要靠模板默认值补齐，而默认值是可改的代码细节，一旦改动会追溯性改义。
- 参数只在受控范围内取值（窗口 2~500、方向二选一），越界/未知模板/多给参数一律 422
  并列出允许范围，不静默截断、不悄悄取默认值；内置实例的启用开关由代码决定（422）。
- `/api/factors` 暴露 `template`/`params`/`param_specs`/`label`/`source`/`enabled`/
  `resolvable`；新增 `/api/factors/templates`、`POST /api/factors`、`PATCH /api/factors`；
  `get_factor = resolve_factor` 兼容全部旧调用点，参数化键也是一等条件字段。
- 迁移链：c5d6（存量策略陈旧说明重算）→ d6e7（condition_field）→ a7c1
  （factor_definition.enabled + name varchar(128)）。

测试：新增 test_condition_fields.py / test_factor_params.py；全量 pytest 500 passed。
 2026-10-01 16:33:32 +08:00
Simon 23972e7063 feat: 股息率案例口径 + 策略库与图表统一 + 回测存档完整化 
汇总三轮未提交的开发（每轮均在本机 MariaDB + 真实浏览器上验证）：

1) 股息率案例（全市场股息率最高 n 只，默认 20，每 m 月择股）
   - 新增日频估值表 daily_basic + 迁移；股息率因子（dv_ratio / dividend_yield / TTM）
   - 名称历史表 stock_name_history：剔除 ST 按**择股日当时名称**判定，消除
     「曾高股息后 ST」的股息陷阱（实测 3.70pp 偏差）
   - 区间择股/调仓双周期（m 择股 / y 调仓）、指数成分与白名单、停牌近似剔除
   - 复权因子口径核对（4,164,742 行、缺失 0.0%）、收盘价成交与涨跌停拦单
   - 案例实测：2020-01-01~2026-09-04 总收益 +24.86%（年化 3.52%、回撤 -28.58%）

2) 策略库与前端统一
   - strategy 表 + CRUD/PUT 原地更新 + `describe_strategy` 按 spec 真实推导
     「一句话说明 + 计算公式 + 执行步骤 + 注意事项」（与引擎实执行规则同源）
   - 任何出现股票代码处都成对显示名称且可点击进个股页
   - 全站图表基座统一 TradingView Lightweight Charts（ECharts 依赖、
     锁文件、组件与文档标注一并清除），买卖点标记只落在真实交易日上

3) 回测存档完整化（可往复查看）
   - 同步端点（POST /api/backtests、/api/factor-tests）此前完全不落库 → 现在同样归档，
     归档 id 经响应头 X-Experiment-Id 返回（不破坏 response_model）
   - data_version 首次真实写入（数据快照指纹：最新交易日 + 各表规模）
   - 个股收益曲线默认**全量保存**（此前硬截断 60 只）；超出体积预算才裁剪，
     并写 archive_meta（机器可读）+ unimplemented（人可读）如实标注
   - 列表 kind/q 过滤 + X-Total-Count（此前 limit=50 静默截断）、DELETE 归档
   - 只读归档页 /experiments/{id}（Server Component，SSR 直出**选股条件**与
     **交易执行依据**）；结果视图按 kind 分发（backtest/factor_test/selection），
     非回测归档不套用回测口径
   - 新增 CLI：prune_experiments（保留策略，默认 dry-run）、
     restore_experiment_from_job（从 Job 副本按原 id 重建被删的历史归档，默认 dry-run）

门禁：pytest 388 passed、ruff All checks passed、tsc 0 错误、图表单测 7 passed、
next build 成功、契约脚本 verify_strategy_workspace 59/59（含按 kind 逐类验证归档页）。
 2026-09-20 07:31:04 +08:00
Simon 861a4051ca feat(job): D2 全市场选股 Job 化（kind=selection 异步） 
- Job kind=selection：executor 分支用 SelectionService（spec=SelectionQuery），结果
  落 result_json、自动归档 Experiment（summary：as_of + 选出 N）；/api/jobs 与
  /api/experiments 的 result 解码支持 SelectionResult
- POST /api/selections/jobs：提交 SelectionQuery 为异步 Job（BackgroundTasks/subprocess）
- Web 选股页新增「异步（全市场）」按钮：提交 Job → waitJob 轮询结果（解决同步 60s+）
- tests/test_selection_job.py：executor 执行归档（SelectionResult/Experiment kind）、
  API 提交→轮询→结果与实验列表；全量 pytest + tsc 通过
 2026-09-09 07:43:35 +08:00
Simon 7c268e43df feat(job): D1 Job 阶段上报（v3 §23）+ 列表/取消端点 
- ResearchService.run_backtest/run_factor_test 支持 on_stage 回调（data_loading →
  factor_calculation/backtesting → analysis）；job_executor 经独立短会话把 stage 写库
  （子进程模式同样走 DB），收尾回读最后阶段避免覆盖
- /api/jobs：GET 列表（kind/limit）、POST /{id}/cancel（queued/running → CANCELLED +
  终止子进程 terminate_active；父进程兜底已跳过 CANCELLED）
- SSE /jobs/{id}/events 现会携带 stage
- tests/test_job_stages.py：成功 job 终态 stage=analysis；executor 取消 queued/幂等/
  已完成不可取消；API 列表+终态不可取消+404；全量 pytest 通过
 2026-09-09 07:37:25 +08:00
Simon 195f5d41f4 perf(backend): 内存优化三项——全市场研究不再占满 8G 
1) 数据装配流式+列裁剪：Repository 新增 stream_range_many_columns（只 SELECT
   所需列、SQL 侧转 REAL、yield_per 分批），引擎按 required_columns 取数
   （LocalEngine 仅 close+因子字段），消除 ORM/Decimal 全量物化；
2) 研究 Job 独立子进程执行（job.mode=subprocess）：python -m app.cli.run_job
   在子进程内设 RLIMIT_AS 上限，OOM 归档 failed 而非拖垮 API worker；
   子进程异常退出由父进程补记 failed；并发上限 2；
3) 服务启动清理：残留 queued/running Job 标记 failed（防永久 running）。

实测同款全市场回测：uvicorn worker RSS 稳定 ~220MB，任务峰值内存由 4.1GB+
降至 ~470MB，24s 完成并归档（此前 43s 未完成即 OOM）。
新增/更新测试 96 passed，ruff 干净。
 2026-09-06 22:12:44 +08:00
Simon d9be75a98f feat: Phase 5 — AI Research Agent（受控工具白名单 + LLM 编排 + API） 
- agent/tools.py：Tool 元数据（JSON Schema）+ 白名单调用（异常转可读反馈，不中断对话）
- agent/tools_impl.py：6 个受控工具 search_stocks / get_market_data / test_factor / run_backtest / get_experiment / compare_experiments —— 全部只读经 Job/Experiment 链路，研究自动归档；无 shell/任意执行/写删数据能力
- agent/llm.py：LLMClient 抽象 + OpenAI 兼容客户端（LLM_API_KEY/LLM_BASE_URL/LLM_MODEL 走 .env，未配置给出引导提示）+ 研究纪律 system prompt（反过拟合/样本外/成本）
- agent/service.py：编排循环（tool/final JSON 决策 → 执行 → 回喂 → 结论），轮次上限兜底，未知工具拒绝
- /api/agent/chat；httpx 移至主依赖；Job 默认工厂抽取（api/agent/executor 复用）
- 测试 6 项（白名单无 shell、完整研究循环产出、未知工具拒绝、轮次兜底），全量 79 passed / ruff clean
 2026-09-06 17:22:05 +08:00
Simon 0ea229d766 feat: Phase 4 — Experiment 自动归档 + 异步 Job（状态机 / SSE / 一键复跑） 
- 数据表：job / experiment（spec/result JSON 存档、code_version），Alembic 迁移 53113c80257f
- Job：queued→running→(success|failed) 状态机，BackgroundTasks 本地执行 + 失败兜底标记；结果与 Experiment 关联
- Experiment：每次研究成功自动归档（含 git commit 与收益摘要），支持一键复跑（同 spec 重建 Job）
- API：POST /api/jobs、GET /api/jobs/{id}（内嵌结果）、SSE /api/jobs/{id}/events、/api/experiments 列表/详情/rerun
- 前端：新增「实验」页（列表 / 详情 / 复跑 + Job 轮询）；导航更新
- 端到端验证：真实 20 股 job 提交→后台执行→success→EXP 归档（-12.41%）；executor 成功/失败路径单测
- 测试 73 passed（新增 5 项 Job/Experiment）/ ruff clean / 前端 tsc + build 通过
 2026-09-06 17:18:46 +08:00