simon/qlib
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
31 Commits 1 Branch 0 Tags
0ffd574f3087bff390ccfb70a211fce3900a6a93
Commit Graph
15 Commits
Author SHA1 Message Date
Simon 0ffd574f30 docs: 下阶段开发计划（架构 v2 落地 M6-M8）+ MySQL 迁移文档同步 
- docs/DEV_PLAN_v2.md：基于 ARCHITECTURE_v2 与 M0-M5 现状的下一阶段计划
  （M-DB 迁移收尾 → M6 因子定义入库/复合因子/口径修复 → M7 Selection/Signal/
  Portfolio 引擎分层 → M8 Strategy 平台化/Web 做实/Agent 工具补齐；含本机 Redis
  127.0.0.1:6379 的接入触发点与执行顺序）
- ROADMAP.md：登记 M-DB 里程碑并指向 DEV_PLAN_v2
- USAGE.md / README.md：数据库描述由 SQLite 更新为 MySQL（config.yaml database.mysql）
 2026-09-08 23:58:51 +08:00
Simon a3fabf9ae9 docs: 新增架构文档 v2（ARCHITECTURE_v2） 2026-09-08 21:48:23 +08:00
Simon 442999f701 feat(data): 财务/日线同步增量 + 新浪「两边一致」校验兜底 + 逐只进度 
- financial 默认增量：按 A 股披露节奏判断已最新并跳过；--full 强制全量重拉
- Tushare fina_indicator 增加报告期窗口与 100 条/请求自动分页（修复老报告期静默截断）
- 新浪兜底收紧为校验兜底：两源重叠历史一致才导入缺失键，行标记 source=sina；
  财务可比字段取 eps/销售毛利率（ROE 两端口径不同不作依据），日线只比较最近重叠交易日
- CLI 输出逐只进度与导入内容描述（来源/行数/报告期与公告区间），失败股票留待重跑
- financial_indicator 增 source 列（迁移 d3f6c9a21b04）；新增一致性/分页/服务测试
 2026-09-08 21:48:09 +08:00
Simon 55b684fbe1 feat(scripts): dev.sh 前后端一键 start/stop/restart/status/logs 
- 启动后端 uvicorn(:8000, --reload, 0.0.0.0) + 前端 next dev(:3000)，setsid 独立进程组
- 停止按 pidfile + 监听端口双定位，整进程组清理（无子进程残留，实测残留 0）
- 端口探测 ss 优先（lsof 在该环境对 socket 不可靠）
- status/logs/restart；支持 API_PORT/WEB_PORT/BACKEND_API_URL 覆盖
- 日志落 logs/，pid 落 .run/（均已 gitignore）；USAGE §5 增加用法
 2026-09-07 20:13:39 +08:00
Simon b78852f01b fix: 前端同源代理 /api → 后端（任意 IP 访问不再 NetworkError）+ SQLite 写锁等待 
- 根因①：页面硬编码 http://127.0.0.1:8000/api，从 192.168.1.160:3000 访问时浏览器请求自身/跨域失败
- 根因②（500）：全市场数据同步（长写事务）持有 SQLite 锁导致读接口 database is locked
- 前端：next.config.ts rewrites /api/* → http://127.0.0.1:8000/api（BACKEND_API_URL 可覆盖）；
  lib/api.ts 默认相对 /api 同源（NEXT_PUBLIC_API_BASE 保留为直连覆盖项）；.env.local.example 说明两种方式
- 后端：CORS 开发期 allow_origins=["*"]（无凭据，上线前收紧）；SQLite engine busy_timeout=30s
- USAGE FAQ 同步；验证：192.168.1.160:3000/api/health 与 /api/factors 经代理 200，CORS 头 access-control-allow-origin: *
 2026-09-06 19:00:49 +08:00
Simon fc12ba89ad docs(USAGE): 更新至 QlibEngine v1 / Parquet 导出后的最新状态 
- 适用版本 HEAD、技术栈（pyarrow/pyqlib/LightGBM）
- 新增 §6.1 双引擎说明（LocalEngine 默认 / QlibEngine v1 切换与 float32 差异）
- 补 export 命令、API 端点（health/stocks/{symbol}）、引擎与 Parquet 相关 FAQ
- 测试计数与覆盖清单更新（86 passed）
- 限制与说明同步（QlibEngine init 幂等、Alpha158+LightGBM 仍为 TODO）
 2026-09-06 18:23:37 +08:00
Simon bbb5c1ea52 feat(cli): sync export — 日线按年导出 Parquet（data/parquet/stock_daily/<year>.parquet） 
- 对应 ROADMAP §1.4「历史时序大数据转 Parquet」；pyarrow 随 qlib 依赖已可用
- 用法：uv run python -m app.cli.sync export [--years 2023,2024]
- 实测：9680 行 → 2023/2024 两个 parquet（data/parquet 已被 gitignore）
- ruff clean / pytest 86 passed
 2026-09-06 18:21:55 +08:00
Simon b8f67f99ae feat(quant): QlibEngine v1 — 本地行情落盘 QlibDataset → D.features 读取 → 因子回测 
- qlib_adapter/provider.py：SQLite 行情按 qlib 0.9.8 二进制格式落盘（起始索引头 + 逐日 float32、instruments 3 列、小写 instrument、晚上市 offset）
- qlib_adapter/dataset.py：qlib.init 幂等（{'day': uri}）+ D.features 读取 close 面板
- qlib_adapter/engine.py：QlibEngine（QuantEngine）v1 —— Qlib 数据管线回测与 LocalEngine 同记账规则（无未来函数/成本/涨跌停标注），factor_test 复用共享实现；Alpha158+LightGBM 为 TODO
- 真实 20 股验证：qlib 落盘 142 文件→读取→回测（-12.81%，Local 对照 -12.97%，差异为 qlib float32 存储）
- tests/test_qlib_engine.py 5 项（格式/roundtrip/晚上市 offset/回测/因子测试）→ pytest 86 passed / ruff clean
 2026-09-06 18:20:28 +08:00
Simon 880f4c50fe docs: Qlib 安装可用性验证报告 + 基线验证脚本 
- pyqlib（0.9.8.dev32 源码安装）验证：import / 数据落盘 / storage 底层读回 / Alpha158 / LGBModel 均通过（scripts/qlib_verify.py 可重复）
- 记录格式要点：小写 instrument、instruments 3 列、provider_uri 需 {'day': path} 字典
- 如实记录未打通项：D.features→训练→回测高层链路仍待 QlibEngine 实现（建议按官方 dump 规则落盘）
- 项目回归保持 81 passed / ruff clean
 2026-09-06 18:02:22 +08:00
Simon 01d818e12a docs: 使用说明 docs/USAGE.md；LLM URL/模型名配置移到 config.yaml（.env 仅 Key） 
- config.yaml 新增 agent.llm：base_url / model 明文配置（默认百炼兼容端点 qwen-plus），api_key 只从 .env 的 LLM_API_KEY 读取；LLM_BASE_URL / LLM_MODEL 仍可经 .env 覆盖
- .env.example 注释同步；core.config 读取逻辑 env > yaml > 默认
- docs/USAGE.md：安装/配置/数据同步/启动/研究 API 与 Job/Experiment/Agent/测试门禁/已知限制/FAQ
- README 增加使用说明入口
- 新增 config LLM 测试 2 项（yaml 默认 + env 覆盖）→ pytest 81 passed / ruff clean
 2026-09-06 17:57:15 +08:00
Simon 8f8b6d274f feat: 解决 aarch64 上 Qlib 安装（源码 git 固化依赖）并记录下载代理规则 
- backend/pyproject.toml + uv.lock: pyqlib 以 git+https 固定 commit 79633dd 注册为核心依赖，
  替代无法在 Linux aarch64 安装的 PyPI wheel（ROADMAP §2 旧备注）
- engine.py: 更正占位说明（Qlib 现已可安装，工作流实现待 Phase 2 补齐）
- AGENT.md §0: 网络下载困难时使用 HTTP 代理 192.168.1.160:3128
- README / ROADMAP: 同步 Qlib 安装方式与代理说明
 2026-09-06 17:45:01 +08:00
Simon d9be75a98f feat: Phase 5 — AI Research Agent（受控工具白名单 + LLM 编排 + API） 
- agent/tools.py：Tool 元数据（JSON Schema）+ 白名单调用（异常转可读反馈，不中断对话）
- agent/tools_impl.py：6 个受控工具 search_stocks / get_market_data / test_factor / run_backtest / get_experiment / compare_experiments —— 全部只读经 Job/Experiment 链路，研究自动归档；无 shell/任意执行/写删数据能力
- agent/llm.py：LLMClient 抽象 + OpenAI 兼容客户端（LLM_API_KEY/LLM_BASE_URL/LLM_MODEL 走 .env，未配置给出引导提示）+ 研究纪律 system prompt（反过拟合/样本外/成本）
- agent/service.py：编排循环（tool/final JSON 决策 → 执行 → 回喂 → 结论），轮次上限兜底，未知工具拒绝
- /api/agent/chat；httpx 移至主依赖；Job 默认工厂抽取（api/agent/executor 复用）
- 测试 6 项（白名单无 shell、完整研究循环产出、未知工具拒绝、轮次兜底），全量 79 passed / ruff clean
 2026-09-06 17:22:05 +08:00
Simon e9f59d3cf8 feat(backend): Phase 2 研究引擎 — ResearchSpec / 因子 / 评估 / 低频回测 / 引擎抽象 
- domain：ResearchSpec（universe/factors/selection/rebalance/costs 校验）+ 标准化 BacktestResult / FactorTestReport
- 因子引擎：注册表 + 元数据，内置 9 个行情因子（momentum/volatility/量比/乖离/反转），支持自定义注册；只用行情字段规避未来函数
- 评估：横截面 IC / RankIC（rank+pearson 免 scipy）/ ICIR / 分层收益
- 回测：TopK 等权低频，无未来函数记账（t 收盘成交、自 t+1 计收益），成本/涨跌停/停牌约束，未建模项显式写入 unimplemented（AGENT §24）
- 引擎抽象 QuantEngine + LocalEngine（pandas 默认实现）；qlib_adapter 桥接占位 —— pyqlib 无 aarch64+cp312 wheel（ROADMAP 已备注）
- 真实链路冒烟：600519 2024 月度动量回测闭环产出标准结果
- 测试 60 passed / ruff clean
 2026-09-06 17:08:00 +08:00
Simon 7a89d97c0b docs: 新增开发路线图与架构 / 数据流水可视化图 
- docs/ROADMAP.md：M0-M5 里程碑与 Phase 1-5 开发计划（含验收口径与硬约束自查）
- docs/diagrams/qlib-architecture.html：系统架构图（Web→API→Service→Domain→存储，Qlib Adapter 与数据源支线）
- docs/diagrams/qlib-dataflow.html：数据流水图（Tushare/Sina→落地→特征→研究→实验→消费）
- 均按 archify showcase 校验交付，1440×900 ~ 2048×1320（light/dark）无溢出
 2026-09-06 16:27:16 +08:00
Simon 8eb3b4ac2a chore: 项目初始化 — 工程文档、配置与目录骨架 
- AGENT.md / docs/ARCHITECTURE.md 约束与架构文档入库（README 覆盖远端模板）
- 根级配置：.gitignore / .env.example / config.yaml（密钥只走 .env，不入库）
- 目录占位：data(parquet/qlib/raw/normalized) / experiments / docker / frontend/web / scripts
 2026-09-06 16:09:07 +08:00