simon/qlib
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
43 Commits 1 Branch 0 Tags
ba52edc2d6d86365bbdaf4d8a718f8948b437b6f
Commit Graph
15 Commits
Author SHA1 Message Date
Simon ba52edc2d6 feat(signal): M8.1 交易信号引擎（规则 + signal_event 落库 + /api/signals） 
- SignalRules（买入 rank 阈值/趋势 MA/动量 + 卖出区间/破位警示）+ SignalEvent
  （BUY/WATCH/SELL，score/price/trigger_reason 可解释）+ SignalResult/Meta
- quant/signal.generate_signals：与选股同一评分引擎取全市场 rank，按规则分类输出
- signal_snapshot/signal_event 表（migration d8e0b2f3c4d5，MySQL 已应用）+ Repo
- SignalService + POST /api/signals（同步+落库）、GET 详情/列表
- tests/test_signals.py（引擎分类/排序/破位不 BUY、service、API 提交读回）；全量 pytest 通过
 2026-09-09 00:35:37 +08:00
Simon ef09d5b419 feat(quant): M7.3 研究行情口径显式化（默认不复权 none，可切 qfq） 
- DailyBarRepository.get_range_many / stream_range_many_columns 增加 adjust 参数
  （默认 'none'）→ SQL 层过滤口径，消除 stock_daily 混 source/adjust 污染因子的风险
- ResearchSpec / SelectionQuery 增加 price_adjustment（none|qfq），随 config_snapshot
  落库可溯源；ResearchService._load_daily 与 SelectionService 装配按口径取数
- tests/test_price_adjustment.py：repo 读取按 adjust 过滤（none/qfq 各自命中）、
  spec 默认与字段记录；全量 pytest 通过
 2026-09-09 00:32:55 +08:00
Simon 4fa2bb748e feat(composite): M7.2b 因子组合落库 + /api/composites CRUD 
- factor_composite 表（migration c3e9a0d1f4b5，MySQL 已应用；name 唯一）
- CompositeDefinition/Component 实体 + CompositeRepository Protocol + SQLAlchemy 实现
- /api/composites：POST（注册表自动填充组件 direction；未注册因子 400）、GET 列表/详情、DELETE
- tests/test_composites_api.py（repo CRUD/同名拒绝/删除、API 方向填充/404/400）；全量 pytest 通过
 2026-09-09 00:30:37 +08:00
Simon 8f47b5b603 feat(factor): M7.1 因子定义入库 + /api/factors 读库（目录契约源） 
- factor_definition 表（migration b7f2a5e81c33，MySQL 已应用）：name 主键 + 元数据
  （formula/brief/frequency/lookback/direction/requires JSON/version）+ FactorDefinition
  entity（from_registry_def 由代码注册表构造）
- FactorRepository Protocol + SQLAlchemy 实现（幂等 upsert/list/get）
- /api/factors 改读 DB；目录为空自动 seed 注册表（幂等）—— 保留自定义因子登记能力
  （计算仍须代码注册，引用未注册因子照常 FactorError，防伪因子）
- tests/test_factor_catalog.py（repo 幂等/roundtrip/registry seed、API seed+字段齐全）；
  test_api 的 client fixture 补 tmp sqlite session（factors 读库）；全量 pytest 通过
 2026-09-09 00:28:16 +08:00
Simon c60dc78c88 feat(selection): M6.3 选股结果落库 + /api/selections（快照 + 逐候选行） 
- domain/repositories/selection.py + SelectionMeta：选股 Repository Protocol
- models/selection.py + migration a6c91d4e7f20：selection_snapshot（查询/统计快照）+
  selection_result（逐候选：rank/score/factor_values/filter_status/reason JSON）
- repositories/selection_impl.py：save/get/list_recent（读回重建 SelectionResult）
- api/selections.py：POST /api/selections（同步执行+落库，返回 selection_id+result）、
  GET /{id}、GET 列表（as_of/method 过滤）；deps 装配 SelectionService/Repo
- config._build_mysql_url：仅编码破坏 URL 结构的字符（修 Alembic configparser 遇 %21 崩）
- 迁移已在 MySQL 应用（alembic head a6c91d4e7f20）；tests/test_selections_api.py 4 例
  提交→读回一致/404/列表过滤/condition；全量 pytest 通过
 2026-09-09 00:20:42 +08:00
Simon 75c5472c31 feat(selection): M6.2 条件选股（method=condition + 财务可见性防护） 
- quant/selection.run_condition_selection：结构化条件 AND 求值 —— 字段域
  static.*（行业/市场…）、技术列与派生量（close/volume/ma20/ma60）、已注册因子
  （momentum_60 等）、fundamental.*（announce_date<=as_of 的最新已公告财务值）；
  条件支持 value 字面量与 ref 字段比较（如 close > ma60）；结果带 filter_status/reason
- SelectionQuery 校验调整：condition 模式为纯过滤（不再强制 top_n/top_pct）
- FinancialRepository 新增 list_announced_many（批量防未来函数读取）+ SQLAlchemy 实现；
  SelectionService 注入 financial_repo 并按 announce_date 取每股最新一版
- tests/test_selection_condition.py：8 例（行业 in/ne、动量>0、close>ma60 ref、阈值、
  ROE 过滤且未来公告不可见、缺财务 repo 报错、更早 as_of 排除）；全量 pytest 通过
 2026-09-09 00:16:45 +08:00
Simon 442999f701 feat(data): 财务/日线同步增量 + 新浪「两边一致」校验兜底 + 逐只进度 
- financial 默认增量：按 A 股披露节奏判断已最新并跳过；--full 强制全量重拉
- Tushare fina_indicator 增加报告期窗口与 100 条/请求自动分页（修复老报告期静默截断）
- 新浪兜底收紧为校验兜底：两源重叠历史一致才导入缺失键，行标记 source=sina；
  财务可比字段取 eps/销售毛利率（ROE 两端口径不同不作依据），日线只比较最近重叠交易日
- CLI 输出逐只进度与导入内容描述（来源/行数/报告期与公告区间），失败股票留待重跑
- financial_indicator 增 source 列（迁移 d3f6c9a21b04）；新增一致性/分页/服务测试
 2026-09-08 21:48:09 +08:00
Simon 195f5d41f4 perf(backend): 内存优化三项——全市场研究不再占满 8G 
1) 数据装配流式+列裁剪：Repository 新增 stream_range_many_columns（只 SELECT
   所需列、SQL 侧转 REAL、yield_per 分批），引擎按 required_columns 取数
   （LocalEngine 仅 close+因子字段），消除 ORM/Decimal 全量物化；
2) 研究 Job 独立子进程执行（job.mode=subprocess）：python -m app.cli.run_job
   在子进程内设 RLIMIT_AS 上限，OOM 归档 failed 而非拖垮 API worker；
   子进程异常退出由父进程补记 failed；并发上限 2；
3) 服务启动清理：残留 queued/running Job 标记 failed（防永久 running）。

实测同款全市场回测：uvicorn worker RSS 稳定 ~220MB，任务峰值内存由 4.1GB+
降至 ~470MB，24s 完成并归档（此前 43s 未完成即 OOM）。
新增/更新测试 96 passed，ruff 干净。
 2026-09-06 22:12:44 +08:00
Simon 56254172b3 feat(data): Tushare 限速退避 + 新浪兜底（财务 getFinanceReport2022 / 日K 前复权），source+adjust 口径标记 
- TushareProvider：频率超限按指数退避重试（不再一次 200/min 即中断），最长等待 30s
- SinaProvider 重构（参考 cc-cursor 公开接口实现）：
  · 新增财务通道 CompanyFinanceService.getFinanceReport2022(source=gjzb) → FinancialIndicator
    （report_date / announce_date=publish_date），与 Tushare fina_indicator schema 一致
  · 日 K 保留 jsonp（前复权），统一 UA + 重试
  · 不支持方法仍抛 DataSourceNotSupported（复权因子/交易日历/基础信息）
- FailoverProvider 现在可对 daily 与 financial 兜底（CLI _failover_provider 接 SinaProvider）
- DailyBar + stock_daily 表新增 source/adjust 列：新浪兜底行标记 sina/qfq，
  Tushare 恢复后 --resume 按同键覆盖回不复权 → 两源格式一致且可追溯
- 迁移 91c4e27a03fb 已生成；执行需在全市场同步结束后：uv run alembic upgrade head
- 测试 34+ 项（新浪财务解析/格式一致/限速退避等）通过
 2026-09-06 20:52:13 +08:00
Simon 778c4beb07 perf(data): Repository 批量 upsert —— 批次一次性查重 + 批量插入/更新 
- 原实现逐行 select→insert/update，是全市场同步耗时主因
- 改为：组合键 row-constructor IN 一次查重 → 新行 add_all 批量插入、已有行就地更新
- 批内重复键（数据源偶发）以最后出现者为准覆盖，保持原语义
- 测试：repository/domain/factors/eval/engine/qlib/provider/migrations 等 67 项通过（tmp 库）；
  依赖真实 quant.db 的 API/Job 测试在全市场同步结束后补跑
 2026-09-06 20:40:01 +08:00
Simon b78852f01b fix: 前端同源代理 /api → 后端（任意 IP 访问不再 NetworkError）+ SQLite 写锁等待 
- 根因①：页面硬编码 http://127.0.0.1:8000/api，从 192.168.1.160:3000 访问时浏览器请求自身/跨域失败
- 根因②（500）：全市场数据同步（长写事务）持有 SQLite 锁导致读接口 database is locked
- 前端：next.config.ts rewrites /api/* → http://127.0.0.1:8000/api（BACKEND_API_URL 可覆盖）；
  lib/api.ts 默认相对 /api 同源（NEXT_PUBLIC_API_BASE 保留为直连覆盖项）；.env.local.example 说明两种方式
- 后端：CORS 开发期 allow_origins=["*"]（无凭据，上线前收紧）；SQLite engine busy_timeout=30s
- USAGE FAQ 同步；验证：192.168.1.160:3000/api/health 与 /api/factors 经代理 200，CORS 头 access-control-allow-origin: *
 2026-09-06 19:00:49 +08:00
Simon 0ea229d766 feat: Phase 4 — Experiment 自动归档 + 异步 Job（状态机 / SSE / 一键复跑） 
- 数据表：job / experiment（spec/result JSON 存档、code_version），Alembic 迁移 53113c80257f
- Job：queued→running→(success|failed) 状态机，BackgroundTasks 本地执行 + 失败兜底标记；结果与 Experiment 关联
- Experiment：每次研究成功自动归档（含 git commit 与收益摘要），支持一键复跑（同 spec 重建 Job）
- API：POST /api/jobs、GET /api/jobs/{id}（内嵌结果）、SSE /api/jobs/{id}/events、/api/experiments 列表/详情/rerun
- 前端：新增「实验」页（列表 / 详情 / 复跑 + Job 轮询）；导航更新
- 端到端验证：真实 20 股 job 提交→后台执行→success→EXP 归档（-12.41%）；executor 成功/失败路径单测
- 测试 73 passed（新增 5 项 Job/Experiment）/ ruff clean / 前端 tsc + build 通过
 2026-09-06 17:18:46 +08:00
Simon 92627f5b6b feat: Phase 3 Web — 业务 API（stocks/factors/backtests）+ Next.js 前端 
- 后端业务 API：GET /api/stocks(搜索/分页)、GET /api/factors（因子目录）、POST /api/factor-tests 与 /api/backtests（Research Spec 驱动同步执行）、GET /api/backtests/last；Annotated 依赖注入 + CORS(dev)
- Repository 批量查询 get_range_many（研究装配一次查询，避免逐只拉取）
- 前端 frontend/web：Next.js 15(TS) + ECharts —— 总览 / 股票池 / 因子研究(IC·RankIC·分层展示) / 回测（净值·回撤·月度·持仓·未建模标注）
- 前端只消费业务 API 与标准化 BacktestResult，无 Qlib/SQL 概念泄漏
- 真实数据：同步 20 只权重股 2023-2024 日线（9680 根）支撑截面研究
- 验证：API 集成测试 8 项（DTO 校验/装配/引擎/标准结果，内存 repo 全链路）+ 全量 pytest 68 passed；前端 tsc + next build 通过；无头浏览器端到端（factors/backtest 页面渲染后端数据）
- ruff clean
 2026-09-06 17:14:33 +08:00
Simon 2da234220a feat(backend): Phase 1 数据层 — Domain / Provider / Failover 审计 + 持久化 + 同步 CLI 
- domain：市场数据实体（Stock / 交易日历 / 日线 / 复权 / 财务含 announce_date）+ Repository 与 MarketDataProvider Protocol
- 数据源：TushareProvider（归一化、重试、鉴权错误归类）、SinaProvider（备用，明确前复权口径与能力边界）、FailoverProvider + SyncLog 审计（禁止静默切换）
- 持久化：SQLAlchemy 2.x Models + Repository 实现（按业务键幂等 upsert、as_of_date 防未来函数过滤）+ Alembic 迁移
- CLI：uv run python -m app.cli.sync {basic|calendar|daily|financial|verify}，支持 --resume 断点续传
- 真实 Tushare 验证：stock 5556 / 交易日历 366 / daily+factor 242 / 财务 55；sync_log 审计完整
- 测试：38 passed（domain / provider / failover / repository / 未来函数 / 迁移），ruff clean
 2026-09-06 16:59:28 +08:00
Simon 2a52ee5e83 feat(backend): 搭建 FastAPI 分层骨架 — 配置加载 / 健康检查 / SQLAlchemy+Alembic 就位 
- uv 工程（Python 3.12，pyproject + uv.lock，dev: pytest/ruff）
- 分层包结构：api / application / domain / infrastructure / quant(qlib_adapter) / agent / core
- app.core.config：加载根 config.yaml + .env，sqlite 相对路径解析到项目根 data/
- SQLAlchemy Base + Session 工厂（Infrastructure 层，业务走 Repository）
- Alembic 迁移环境就位（env.py 复用应用配置，render_as_batch 兼容 SQLite）
- GET /api/health + pytest 冒烟 6 项通过 / ruff clean / uvicorn 启动验证
 2026-09-06 16:09:10 +08:00