simon/qlib
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
58 Commits 1 Branch 0 Tags
37510c1b896dfbce6ef1939a6feae0e10f48367a
Commit Graph
14 Commits
Author SHA1 Message Date
Simon 37510c1b89 feat(replay): M9-6 Bar Replay 线性重放（as_of 逐日仅用当时数据） 
- domain/entities/replay.py：ReplayDay{top/events/counts}/ReplayResult 时间线
- ReplayService：universe.symbols 白名单必填（≤40）且重放交易日 ≤90（防全市场长任务）；
  每个交易日以 <=as_of 数据经同一 signal/score 引擎生成帧
- POST /api/replays（边界校验）→ 时间线；供前端 Bar Replay 控件（v3 §20.6 阶段二）
- tests/test_replays.py：重放帧 == 回测 selection_history 逐调仓日一致；范围约束；
  后段暴涨股不泄漏进早段帧（未来函数）；API 400/200；全量 pytest 通过
 2026-09-09 07:18:36 +08:00
Simon 5bde8f9f5f feat(chart): M9-5 复权口径坐标换算落地（qfq 基准=最新因子 + marker 贴图换算） 
- ChartService qfq 基准改为该股最新因子（截至今天）归一：历史区间随最新除权
  平移正确（v3 §20.5 Chart Display vs Execution basis 分离）
- 显示口径与执行 basis 不一致时，成交/信号 marker 价格按当日因子换算到 K 线坐标系
  （fill 早段价格在 qfq 下折算验证 100→50）
- tests：qfq 回测 marker 折算 + selection 标记保留；全量 pytest 通过
 2026-09-09 07:15:41 +08:00
Simon bfeac7aa4c feat(backtest): M9-2 回测补 selection_history/signal_history/fills（Signal↔Fill 区分） 
- BacktestResult 新增：RankedPick（调仓意图，与 select(as_of) 同源排序）、
  ActionRecord（BUY/SELL 意图 + filled + reject_reason/price）字段 selection_history /
  signal_history / fills（fills=signal_history 中 filled 子集）（v3 §20.3/§22.3）
- TopKBacktestRunner：调仓记录卖出/买入逐动作与是否成交；涨停/停牌导致的
  「BUY 信号未成交」保留原因；意图 picks 与执行 targets 分离（不因涨停悄悄改选股视图）
- ChartService.backtest_stock_chart 改用 history 生成三类标记（selection/signal/fill），
  未成交意图在图上可见（v3 §20.4）
- tests/test_backtest_history.py：意图=select 一致、fills 推导、涨停拒绝可见（构造 +10%
  涨停日）、序列化 roundtrip；相关回归（quant/consistency/charts）全过；全量 pytest 通过
 2026-09-09 07:12:36 +08:00
Simon 995ed08548 feat(chart): M9-1 Chart DTO + Chart Service + Chart API（v3 §20） 
- domain/entities/chart.py：ChartResult/OHLC/Volume/Series/EventMarker/ChartMetadata
  （adjust_mode + execution_price_basis 口径元数据）+ SelectionHit
- application/services/chart_service.py：个股 K线/量/MA 指标；显示层 qfq/hfq 折算
  （基于主口径 none 行情 × adjust_factor，绝回写研究数据）；回测个股视图把实际成交
  转 fills 标记并在显示口径不同时做坐标换算（v3 §20.3/§20.5）
- by-symbol 历史查询：SignalRepository/SelectionRepository.list_by_symbol（含溯源 id）
- api/charts.py：/stocks/{symbol}/chart|signals|selections、/backtests/{id}/stocks/{symbol}/chart
  |trades|positions
- tests/test_charts.py（指标/qfq-hfq 折算断言/回测 fills/API 集成+404）；全量 pytest 通过
 2026-09-09 07:09:52 +08:00
Simon ba52edc2d6 feat(signal): M8.1 交易信号引擎（规则 + signal_event 落库 + /api/signals） 
- SignalRules（买入 rank 阈值/趋势 MA/动量 + 卖出区间/破位警示）+ SignalEvent
  （BUY/WATCH/SELL，score/price/trigger_reason 可解释）+ SignalResult/Meta
- quant/signal.generate_signals：与选股同一评分引擎取全市场 rank，按规则分类输出
- signal_snapshot/signal_event 表（migration d8e0b2f3c4d5，MySQL 已应用）+ Repo
- SignalService + POST /api/signals（同步+落库）、GET 详情/列表
- tests/test_signals.py（引擎分类/排序/破位不 BUY、service、API 提交读回）；全量 pytest 通过
 2026-09-09 00:35:37 +08:00
Simon ef09d5b419 feat(quant): M7.3 研究行情口径显式化（默认不复权 none，可切 qfq） 
- DailyBarRepository.get_range_many / stream_range_many_columns 增加 adjust 参数
  （默认 'none'）→ SQL 层过滤口径，消除 stock_daily 混 source/adjust 污染因子的风险
- ResearchSpec / SelectionQuery 增加 price_adjustment（none|qfq），随 config_snapshot
  落库可溯源；ResearchService._load_daily 与 SelectionService 装配按口径取数
- tests/test_price_adjustment.py：repo 读取按 adjust 过滤（none/qfq 各自命中）、
  spec 默认与字段记录；全量 pytest 通过
 2026-09-09 00:32:55 +08:00
Simon 8f47b5b603 feat(factor): M7.1 因子定义入库 + /api/factors 读库（目录契约源） 
- factor_definition 表（migration b7f2a5e81c33，MySQL 已应用）：name 主键 + 元数据
  （formula/brief/frequency/lookback/direction/requires JSON/version）+ FactorDefinition
  entity（from_registry_def 由代码注册表构造）
- FactorRepository Protocol + SQLAlchemy 实现（幂等 upsert/list/get）
- /api/factors 改读 DB；目录为空自动 seed 注册表（幂等）—— 保留自定义因子登记能力
  （计算仍须代码注册，引用未注册因子照常 FactorError，防伪因子）
- tests/test_factor_catalog.py（repo 幂等/roundtrip/registry seed、API seed+字段齐全）；
  test_api 的 client fixture 补 tmp sqlite session（factors 读库）；全量 pytest 通过
 2026-09-09 00:28:16 +08:00
Simon 75c5472c31 feat(selection): M6.2 条件选股（method=condition + 财务可见性防护） 
- quant/selection.run_condition_selection：结构化条件 AND 求值 —— 字段域
  static.*（行业/市场…）、技术列与派生量（close/volume/ma20/ma60）、已注册因子
  （momentum_60 等）、fundamental.*（announce_date<=as_of 的最新已公告财务值）；
  条件支持 value 字面量与 ref 字段比较（如 close > ma60）；结果带 filter_status/reason
- SelectionQuery 校验调整：condition 模式为纯过滤（不再强制 top_n/top_pct）
- FinancialRepository 新增 list_announced_many（批量防未来函数读取）+ SQLAlchemy 实现；
  SelectionService 注入 financial_repo 并按 announce_date 取每股最新一版
- tests/test_selection_condition.py：8 例（行业 in/ne、动量>0、close>ma60 ref、阈值、
  ROE 过滤且未来公告不可见、缺财务 repo 报错、更早 as_of 排除）；全量 pytest 通过
 2026-09-09 00:16:45 +08:00
Simon f3586adb25 feat(selection): M6.0 选股契约与评分引擎（SelectionQuery/Result + select(as_of)） 
- domain/entities/selection.py：SelectionQuery（universe+method+factors+top_n/top_pct/
  min_score+as_of+预热）与 SelectionResult/Candidate/Statistics（v2 §14.2/§21.1 DTO）；
  ConditionSpec 字段就位供 M6.2 条件选股
- quant/selection.py：Selection Engine method=score —— 复合分（zscore×权重×方向）
  → TopN/Top% 截断；observation_date=<=as_of 最近交易日（防未来函数，v2 §9）；
  候选带 factor_values 与 selection_reason（可解释）
- application/services/selection_service.py：选股用例（universe 过滤 → 装配 → 引擎）
- quant/service.py：抽取公共 load_daily_df 供研究/选股共用（行为不变）
- tests/test_selection.py：11 例 —— TopN/排序/理由、as_of 防未来函数、ST/上市天数/
  退市过滤、top_pct/min_score、空数据与查询校验；全量 pytest 通过
 2026-09-09 00:12:28 +08:00
Simon 442999f701 feat(data): 财务/日线同步增量 + 新浪「两边一致」校验兜底 + 逐只进度 
- financial 默认增量：按 A 股披露节奏判断已最新并跳过；--full 强制全量重拉
- Tushare fina_indicator 增加报告期窗口与 100 条/请求自动分页（修复老报告期静默截断）
- 新浪兜底收紧为校验兜底：两源重叠历史一致才导入缺失键，行标记 source=sina；
  财务可比字段取 eps/销售毛利率（ROE 两端口径不同不作依据），日线只比较最近重叠交易日
- CLI 输出逐只进度与导入内容描述（来源/行数/报告期与公告区间），失败股票留待重跑
- financial_indicator 增 source 列（迁移 d3f6c9a21b04）；新增一致性/分页/服务测试
 2026-09-08 21:48:09 +08:00
Simon 195f5d41f4 perf(backend): 内存优化三项——全市场研究不再占满 8G 
1) 数据装配流式+列裁剪：Repository 新增 stream_range_many_columns（只 SELECT
   所需列、SQL 侧转 REAL、yield_per 分批），引擎按 required_columns 取数
   （LocalEngine 仅 close+因子字段），消除 ORM/Decimal 全量物化；
2) 研究 Job 独立子进程执行（job.mode=subprocess）：python -m app.cli.run_job
   在子进程内设 RLIMIT_AS 上限，OOM 归档 failed 而非拖垮 API worker；
   子进程异常退出由父进程补记 failed；并发上限 2；
3) 服务启动清理：残留 queued/running Job 标记 failed（防永久 running）。

实测同款全市场回测：uvicorn worker RSS 稳定 ~220MB，任务峰值内存由 4.1GB+
降至 ~470MB，24s 完成并归档（此前 43s 未完成即 OOM）。
新增/更新测试 96 passed，ruff 干净。
 2026-09-06 22:12:44 +08:00
Simon d9be75a98f feat: Phase 5 — AI Research Agent（受控工具白名单 + LLM 编排 + API） 
- agent/tools.py：Tool 元数据（JSON Schema）+ 白名单调用（异常转可读反馈，不中断对话）
- agent/tools_impl.py：6 个受控工具 search_stocks / get_market_data / test_factor / run_backtest / get_experiment / compare_experiments —— 全部只读经 Job/Experiment 链路，研究自动归档；无 shell/任意执行/写删数据能力
- agent/llm.py：LLMClient 抽象 + OpenAI 兼容客户端（LLM_API_KEY/LLM_BASE_URL/LLM_MODEL 走 .env，未配置给出引导提示）+ 研究纪律 system prompt（反过拟合/样本外/成本）
- agent/service.py：编排循环（tool/final JSON 决策 → 执行 → 回喂 → 结论），轮次上限兜底，未知工具拒绝
- /api/agent/chat；httpx 移至主依赖；Job 默认工厂抽取（api/agent/executor 复用）
- 测试 6 项（白名单无 shell、完整研究循环产出、未知工具拒绝、轮次兜底），全量 79 passed / ruff clean
 2026-09-06 17:22:05 +08:00
Simon 0ea229d766 feat: Phase 4 — Experiment 自动归档 + 异步 Job（状态机 / SSE / 一键复跑） 
- 数据表：job / experiment（spec/result JSON 存档、code_version），Alembic 迁移 53113c80257f
- Job：queued→running→(success|failed) 状态机，BackgroundTasks 本地执行 + 失败兜底标记；结果与 Experiment 关联
- Experiment：每次研究成功自动归档（含 git commit 与收益摘要），支持一键复跑（同 spec 重建 Job）
- API：POST /api/jobs、GET /api/jobs/{id}（内嵌结果）、SSE /api/jobs/{id}/events、/api/experiments 列表/详情/rerun
- 前端：新增「实验」页（列表 / 详情 / 复跑 + Job 轮询）；导航更新
- 端到端验证：真实 20 股 job 提交→后台执行→success→EXP 归档（-12.41%）；executor 成功/失败路径单测
- 测试 73 passed（新增 5 项 Job/Experiment）/ ruff clean / 前端 tsc + build 通过
 2026-09-06 17:18:46 +08:00
Simon 2a52ee5e83 feat(backend): 搭建 FastAPI 分层骨架 — 配置加载 / 健康检查 / SQLAlchemy+Alembic 就位 
- uv 工程（Python 3.12，pyproject + uv.lock，dev: pytest/ruff）
- 分层包结构：api / application / domain / infrastructure / quant(qlib_adapter) / agent / core
- app.core.config：加载根 config.yaml + .env，sqlite 相对路径解析到项目根 data/
- SQLAlchemy Base + Session 工厂（Infrastructure 层，业务走 Repository）
- Alembic 迁移环境就位（env.py 复用应用配置，render_as_batch 兼容 SQLite）
- GET /api/health + pytest 冒烟 6 项通过 / ruff clean / uvicorn 启动验证
 2026-09-06 16:09:10 +08:00