 Simon
|
195f5d41f4
|
perf(backend): 内存优化三项——全市场研究不再占满 8G
1) 数据装配流式+列裁剪：Repository 新增 stream_range_many_columns（只 SELECT
所需列、SQL 侧转 REAL、yield_per 分批），引擎按 required_columns 取数
（LocalEngine 仅 close+因子字段），消除 ORM/Decimal 全量物化；
2) 研究 Job 独立子进程执行（job.mode=subprocess）：python -m app.cli.run_job
在子进程内设 RLIMIT_AS 上限，OOM 归档 failed 而非拖垮 API worker；
子进程异常退出由父进程补记 failed；并发上限 2；
3) 服务启动清理：残留 queued/running Job 标记 failed（防永久 running）。
实测同款全市场回测：uvicorn worker RSS 稳定 ~220MB，任务峰值内存由 4.1GB+
降至 ~470MB，24s 完成并归档（此前 43s 未完成即 OOM）。
新增/更新测试 96 passed，ruff 干净。
|
2026-09-06 22:12:44 +08:00 |
|
|
Simon
|
02e42184be
|
test+fix: 新浪 jsonp 稳健解析（容忍注释/括号包裹/尾部杂字符）；Job API 测试改 tmp 种子库
- 真实响应含 /*...*/ 注释与 var data=([...]); 前缀 → _extract_jsonp 取首 '[' 至末 ']'
- 新浪真实网络冒烟通过：财务 100 期（含披露日）+ 日K 最近窗口（source=sina/adjust=qfq）
- TestJobsApi / experiments 用例改为 monkeypatch SessionLocal → tmp 种子库（5 股×300 日），
与真实全市场库（779 万行）解耦，全量稳定 <1min
- pytest 全量 141 passed / ruff clean
|
2026-09-06 21:34:29 +08:00 |
|
|
Simon
|
0ea229d766
|
feat: Phase 4 — Experiment 自动归档 + 异步 Job（状态机 / SSE / 一键复跑）
- 数据表：job / experiment（spec/result JSON 存档、code_version），Alembic 迁移 53113c80257f
- Job：queued→running→(success|failed) 状态机，BackgroundTasks 本地执行 + 失败兜底标记；结果与 Experiment 关联
- Experiment：每次研究成功自动归档（含 git commit 与收益摘要），支持一键复跑（同 spec 重建 Job）
- API：POST /api/jobs、GET /api/jobs/{id}（内嵌结果）、SSE /api/jobs/{id}/events、/api/experiments 列表/详情/rerun
- 前端：新增「实验」页（列表 / 详情 / 复跑 + Job 轮询）；导航更新
- 端到端验证：真实 20 股 job 提交→后台执行→success→EXP 归档（-12.41%）；executor 成功/失败路径单测
- 测试 73 passed（新增 5 项 Job/Experiment）/ ruff clean / 前端 tsc + build 通过
|
2026-09-06 17:18:46 +08:00 |
|