simon/qlib
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
44 Commits 1 Branch 0 Tags
692bdb3be5f175a79a5ec20617147fa112ac2bb8
Commit Graph
8 Commits
Author SHA1 Message Date
Simon 0ffd574f30 docs: 下阶段开发计划（架构 v2 落地 M6-M8）+ MySQL 迁移文档同步 
- docs/DEV_PLAN_v2.md：基于 ARCHITECTURE_v2 与 M0-M5 现状的下一阶段计划
  （M-DB 迁移收尾 → M6 因子定义入库/复合因子/口径修复 → M7 Selection/Signal/
  Portfolio 引擎分层 → M8 Strategy 平台化/Web 做实/Agent 工具补齐；含本机 Redis
  127.0.0.1:6379 的接入触发点与执行顺序）
- ROADMAP.md：登记 M-DB 里程碑并指向 DEV_PLAN_v2
- USAGE.md / README.md：数据库描述由 SQLite 更新为 MySQL（config.yaml database.mysql）
 2026-09-08 23:58:51 +08:00
Simon 442999f701 feat(data): 财务/日线同步增量 + 新浪「两边一致」校验兜底 + 逐只进度 
- financial 默认增量：按 A 股披露节奏判断已最新并跳过；--full 强制全量重拉
- Tushare fina_indicator 增加报告期窗口与 100 条/请求自动分页（修复老报告期静默截断）
- 新浪兜底收紧为校验兜底：两源重叠历史一致才导入缺失键，行标记 source=sina；
  财务可比字段取 eps/销售毛利率（ROE 两端口径不同不作依据），日线只比较最近重叠交易日
- CLI 输出逐只进度与导入内容描述（来源/行数/报告期与公告区间），失败股票留待重跑
- financial_indicator 增 source 列（迁移 d3f6c9a21b04）；新增一致性/分页/服务测试
 2026-09-08 21:48:09 +08:00
Simon 55b684fbe1 feat(scripts): dev.sh 前后端一键 start/stop/restart/status/logs 
- 启动后端 uvicorn(:8000, --reload, 0.0.0.0) + 前端 next dev(:3000)，setsid 独立进程组
- 停止按 pidfile + 监听端口双定位，整进程组清理（无子进程残留，实测残留 0）
- 端口探测 ss 优先（lsof 在该环境对 socket 不可靠）
- status/logs/restart；支持 API_PORT/WEB_PORT/BACKEND_API_URL 覆盖
- 日志落 logs/，pid 落 .run/（均已 gitignore）；USAGE §5 增加用法
 2026-09-07 20:13:39 +08:00
Simon b78852f01b fix: 前端同源代理 /api → 后端（任意 IP 访问不再 NetworkError）+ SQLite 写锁等待 
- 根因①：页面硬编码 http://127.0.0.1:8000/api，从 192.168.1.160:3000 访问时浏览器请求自身/跨域失败
- 根因②（500）：全市场数据同步（长写事务）持有 SQLite 锁导致读接口 database is locked
- 前端：next.config.ts rewrites /api/* → http://127.0.0.1:8000/api（BACKEND_API_URL 可覆盖）；
  lib/api.ts 默认相对 /api 同源（NEXT_PUBLIC_API_BASE 保留为直连覆盖项）；.env.local.example 说明两种方式
- 后端：CORS 开发期 allow_origins=["*"]（无凭据，上线前收紧）；SQLite engine busy_timeout=30s
- USAGE FAQ 同步；验证：192.168.1.160:3000/api/health 与 /api/factors 经代理 200，CORS 头 access-control-allow-origin: *
 2026-09-06 19:00:49 +08:00
Simon fc12ba89ad docs(USAGE): 更新至 QlibEngine v1 / Parquet 导出后的最新状态 
- 适用版本 HEAD、技术栈（pyarrow/pyqlib/LightGBM）
- 新增 §6.1 双引擎说明（LocalEngine 默认 / QlibEngine v1 切换与 float32 差异）
- 补 export 命令、API 端点（health/stocks/{symbol}）、引擎与 Parquet 相关 FAQ
- 测试计数与覆盖清单更新（86 passed）
- 限制与说明同步（QlibEngine init 幂等、Alpha158+LightGBM 仍为 TODO）
 2026-09-06 18:23:37 +08:00
Simon bbb5c1ea52 feat(cli): sync export — 日线按年导出 Parquet（data/parquet/stock_daily/<year>.parquet） 
- 对应 ROADMAP §1.4「历史时序大数据转 Parquet」；pyarrow 随 qlib 依赖已可用
- 用法：uv run python -m app.cli.sync export [--years 2023,2024]
- 实测：9680 行 → 2023/2024 两个 parquet（data/parquet 已被 gitignore）
- ruff clean / pytest 86 passed
 2026-09-06 18:21:55 +08:00
Simon b8f67f99ae feat(quant): QlibEngine v1 — 本地行情落盘 QlibDataset → D.features 读取 → 因子回测 
- qlib_adapter/provider.py：SQLite 行情按 qlib 0.9.8 二进制格式落盘（起始索引头 + 逐日 float32、instruments 3 列、小写 instrument、晚上市 offset）
- qlib_adapter/dataset.py：qlib.init 幂等（{'day': uri}）+ D.features 读取 close 面板
- qlib_adapter/engine.py：QlibEngine（QuantEngine）v1 —— Qlib 数据管线回测与 LocalEngine 同记账规则（无未来函数/成本/涨跌停标注），factor_test 复用共享实现；Alpha158+LightGBM 为 TODO
- 真实 20 股验证：qlib 落盘 142 文件→读取→回测（-12.81%，Local 对照 -12.97%，差异为 qlib float32 存储）
- tests/test_qlib_engine.py 5 项（格式/roundtrip/晚上市 offset/回测/因子测试）→ pytest 86 passed / ruff clean
 2026-09-06 18:20:28 +08:00
Simon 01d818e12a docs: 使用说明 docs/USAGE.md；LLM URL/模型名配置移到 config.yaml（.env 仅 Key） 
- config.yaml 新增 agent.llm：base_url / model 明文配置（默认百炼兼容端点 qwen-plus），api_key 只从 .env 的 LLM_API_KEY 读取；LLM_BASE_URL / LLM_MODEL 仍可经 .env 覆盖
- .env.example 注释同步；core.config 读取逻辑 env > yaml > 默认
- docs/USAGE.md：安装/配置/数据同步/启动/研究 API 与 Job/Experiment/Agent/测试门禁/已知限制/FAQ
- README 增加使用说明入口
- 新增 config LLM 测试 2 项（yaml 默认 + env 覆盖）→ pytest 81 passed / ruff clean
 2026-09-06 17:57:15 +08:00