 Simon
|
633176a3d1
|
feat(api): 实验归档支持批量删除（含缺失项如实回报）
「实验对比」页需要批量删除，逐个 DELETE 会有 N 次往返且中途失败会留下半删除状态。
- `POST /experiments/bulk-delete`：一次最多 200 个 id（`BULK_DELETE_MAX_IDS`），
按请求顺序去重；返回 `deleted` / `missing` / `count`，**存在的删掉、不存在的如实列出**，
不假装全部成功（前端据此提示「N 个已删、M 个不存在」）。
- 路由声明在 `GET /{experiment_id}` 之前，避免被路径参数吞掉。
- 测试 +2：删除与缺失混合场景、id 列表校验（空/超长）。
|
2026-10-01 17:57:04 +08:00 |
|
|
Simon
|
23972e7063
|
feat: 股息率案例口径 + 策略库与图表统一 + 回测存档完整化
汇总三轮未提交的开发（每轮均在本机 MariaDB + 真实浏览器上验证）：
1) 股息率案例（全市场股息率最高 n 只，默认 20，每 m 月择股）
- 新增日频估值表 daily_basic + 迁移；股息率因子（dv_ratio / dividend_yield / TTM）
- 名称历史表 stock_name_history：剔除 ST 按**择股日当时名称**判定，消除
「曾高股息后 ST」的股息陷阱（实测 3.70pp 偏差）
- 区间择股/调仓双周期（m 择股 / y 调仓）、指数成分与白名单、停牌近似剔除
- 复权因子口径核对（4,164,742 行、缺失 0.0%）、收盘价成交与涨跌停拦单
- 案例实测：2020-01-01~2026-09-04 总收益 +24.86%（年化 3.52%、回撤 -28.58%）
2) 策略库与前端统一
- strategy 表 + CRUD/PUT 原地更新 + `describe_strategy` 按 spec 真实推导
「一句话说明 + 计算公式 + 执行步骤 + 注意事项」（与引擎实执行规则同源）
- 任何出现股票代码处都成对显示名称且可点击进个股页
- 全站图表基座统一 TradingView Lightweight Charts（ECharts 依赖、
锁文件、组件与文档标注一并清除），买卖点标记只落在真实交易日上
3) 回测存档完整化（可往复查看）
- 同步端点（POST /api/backtests、/api/factor-tests）此前完全不落库 → 现在同样归档，
归档 id 经响应头 X-Experiment-Id 返回（不破坏 response_model）
- data_version 首次真实写入（数据快照指纹：最新交易日 + 各表规模）
- 个股收益曲线默认**全量保存**（此前硬截断 60 只）；超出体积预算才裁剪，
并写 archive_meta（机器可读）+ unimplemented（人可读）如实标注
- 列表 kind/q 过滤 + X-Total-Count（此前 limit=50 静默截断）、DELETE 归档
- 只读归档页 /experiments/{id}（Server Component，SSR 直出**选股条件**与
**交易执行依据**）；结果视图按 kind 分发（backtest/factor_test/selection），
非回测归档不套用回测口径
- 新增 CLI：prune_experiments（保留策略，默认 dry-run）、
restore_experiment_from_job（从 Job 副本按原 id 重建被删的历史归档，默认 dry-run）
门禁：pytest 388 passed、ruff All checks passed、tsc 0 错误、图表单测 7 passed、
next build 成功、契约脚本 verify_strategy_workspace 59/59（含按 kind 逐类验证归档页）。
|
2026-09-20 07:31:04 +08:00 |
|
|
Simon
|
ef09d5b419
|
feat(quant): M7.3 研究行情口径显式化（默认不复权 none，可切 qfq）
- DailyBarRepository.get_range_many / stream_range_many_columns 增加 adjust 参数
（默认 'none'）→ SQL 层过滤口径，消除 stock_daily 混 source/adjust 污染因子的风险
- ResearchSpec / SelectionQuery 增加 price_adjustment（none|qfq），随 config_snapshot
落库可溯源；ResearchService._load_daily 与 SelectionService 装配按口径取数
- tests/test_price_adjustment.py：repo 读取按 adjust 过滤（none/qfq 各自命中）、
spec 默认与字段记录；全量 pytest 通过
|
2026-09-09 00:32:55 +08:00 |
|
|
Simon
|
195f5d41f4
|
perf(backend): 内存优化三项——全市场研究不再占满 8G
1) 数据装配流式+列裁剪：Repository 新增 stream_range_many_columns（只 SELECT
所需列、SQL 侧转 REAL、yield_per 分批），引擎按 required_columns 取数
（LocalEngine 仅 close+因子字段），消除 ORM/Decimal 全量物化；
2) 研究 Job 独立子进程执行（job.mode=subprocess）：python -m app.cli.run_job
在子进程内设 RLIMIT_AS 上限，OOM 归档 failed 而非拖垮 API worker；
子进程异常退出由父进程补记 failed；并发上限 2；
3) 服务启动清理：残留 queued/running Job 标记 failed（防永久 running）。
实测同款全市场回测：uvicorn worker RSS 稳定 ~220MB，任务峰值内存由 4.1GB+
降至 ~470MB，24s 完成并归档（此前 43s 未完成即 OOM）。
新增/更新测试 96 passed，ruff 干净。
|
2026-09-06 22:12:44 +08:00 |
|
|
Simon
|
02e42184be
|
test+fix: 新浪 jsonp 稳健解析（容忍注释/括号包裹/尾部杂字符）；Job API 测试改 tmp 种子库
- 真实响应含 /*...*/ 注释与 var data=([...]); 前缀 → _extract_jsonp 取首 '[' 至末 ']'
- 新浪真实网络冒烟通过：财务 100 期（含披露日）+ 日K 最近窗口（source=sina/adjust=qfq）
- TestJobsApi / experiments 用例改为 monkeypatch SessionLocal → tmp 种子库（5 股×300 日），
与真实全市场库（779 万行）解耦，全量稳定 <1min
- pytest 全量 141 passed / ruff clean
|
2026-09-06 21:34:29 +08:00 |
|
|
Simon
|
0ea229d766
|
feat: Phase 4 — Experiment 自动归档 + 异步 Job（状态机 / SSE / 一键复跑）
- 数据表：job / experiment（spec/result JSON 存档、code_version），Alembic 迁移 53113c80257f
- Job：queued→running→(success|failed) 状态机，BackgroundTasks 本地执行 + 失败兜底标记；结果与 Experiment 关联
- Experiment：每次研究成功自动归档（含 git commit 与收益摘要），支持一键复跑（同 spec 重建 Job）
- API：POST /api/jobs、GET /api/jobs/{id}（内嵌结果）、SSE /api/jobs/{id}/events、/api/experiments 列表/详情/rerun
- 前端：新增「实验」页（列表 / 详情 / 复跑 + Job 轮询）；导航更新
- 端到端验证：真实 20 股 job 提交→后台执行→success→EXP 归档（-12.41%）；executor 成功/失败路径单测
- 测试 73 passed（新增 5 项 Job/Experiment）/ ruff clean / 前端 tsc + build 通过
|
2026-09-06 17:18:46 +08:00 |
|