Simon
23972e7063
汇总三轮未提交的开发（每轮均在本机 MariaDB + 真实浏览器上验证）：
1) 股息率案例（全市场股息率最高 n 只，默认 20，每 m 月择股）
- 新增日频估值表 daily_basic + 迁移；股息率因子（dv_ratio / dividend_yield / TTM）
- 名称历史表 stock_name_history：剔除 ST 按**择股日当时名称**判定，消除
「曾高股息后 ST」的股息陷阱（实测 3.70pp 偏差）
- 区间择股/调仓双周期（m 择股 / y 调仓）、指数成分与白名单、停牌近似剔除
- 复权因子口径核对（4,164,742 行、缺失 0.0%）、收盘价成交与涨跌停拦单
- 案例实测：2020-01-01~2026-09-04 总收益 +24.86%（年化 3.52%、回撤 -28.58%）
2) 策略库与前端统一
- strategy 表 + CRUD/PUT 原地更新 + `describe_strategy` 按 spec 真实推导
「一句话说明 + 计算公式 + 执行步骤 + 注意事项」（与引擎实执行规则同源）
- 任何出现股票代码处都成对显示名称且可点击进个股页
- 全站图表基座统一 TradingView Lightweight Charts（ECharts 依赖、
锁文件、组件与文档标注一并清除），买卖点标记只落在真实交易日上
3) 回测存档完整化（可往复查看）
- 同步端点（POST /api/backtests、/api/factor-tests）此前完全不落库 → 现在同样归档，
归档 id 经响应头 X-Experiment-Id 返回（不破坏 response_model）
- data_version 首次真实写入（数据快照指纹：最新交易日 + 各表规模）
- 个股收益曲线默认**全量保存**（此前硬截断 60 只）；超出体积预算才裁剪，
并写 archive_meta（机器可读）+ unimplemented（人可读）如实标注
- 列表 kind/q 过滤 + X-Total-Count（此前 limit=50 静默截断）、DELETE 归档
- 只读归档页 /experiments/{id}（Server Component，SSR 直出**选股条件**与
**交易执行依据**）；结果视图按 kind 分发（backtest/factor_test/selection），
非回测归档不套用回测口径
- 新增 CLI：prune_experiments（保留策略，默认 dry-run）、
restore_experiment_from_job（从 Job 副本按原 id 重建被删的历史归档，默认 dry-run）
门禁：pytest 388 passed、ruff All checks passed、tsc 0 错误、图表单测 7 passed、
next build 成功、契约脚本 verify_strategy_workspace 59/59（含按 kind 逐类验证归档页）。
65 lines
2.6 KiB
Python
65 lines
2.6 KiB
Python
"""独立进程执行研究 Job —— 内存隔离的执行体（内存优化专项）。
|
||
|
||
由 job_executor._run_in_subprocess 以 `python -m app.cli.run_job <JOB_ID>` 拉起
|
||
（cwd=backend/），入口先施加 RLIMIT_AS 上限再导入重依赖，随后执行与 API 内
|
||
execute_job 完全相同的状态机 / Experiment 归档逻辑。
|
||
|
||
环境变量：
|
||
QLIB_JOB_MEM_LIMIT_GB —— 子进程虚拟地址空间上限（GB）；父进程 spawn 时写入，
|
||
手动直接运行本命令而未设置时回退到 Settings（config job.max_memory_gb）。
|
||
"""
|
||
|
||
from __future__ import annotations
|
||
|
||
import os
|
||
import sys
|
||
|
||
|
||
def _apply_memory_limit() -> None:
|
||
"""尝试施加 RLIMIT_AS：达到上限时分配抛 MemoryError → Job 归档 failed，
|
||
而不是让内核 OOM 杀掉整机（8G Pi5 上保护同机其它服务）。
|
||
|
||
不按平台硬门禁：RLIMIT_AS 在 Linux / macOS 上都能设置，但**限额必须高于进程
|
||
当前的虚拟地址空间基线**，否则内核返回 EINVAL（CPython 表现为
|
||
`ValueError: current limit exceeds maximum limit`）。macOS 上 Python 进程的
|
||
地址空间基线可达数十 GB（共享缓存 + malloc 区预留），故 `job.max_memory_gb: 6`
|
||
在这类机器上会失败 —— 这是**配置阈值问题，不是平台不支持**，不应掩盖。
|
||
|
||
设置失败不阻断 Job，但如实打印原因与后果（AGENT.md §24「未实现项须如实标注」）。
|
||
"""
|
||
try:
|
||
gb = int(os.environ.get("QLIB_JOB_MEM_LIMIT_GB") or "")
|
||
except (TypeError, ValueError):
|
||
from app.core.config import get_settings
|
||
|
||
gb = get_settings().job_memory_limit_gb
|
||
limit = gb * 1024**3
|
||
import resource
|
||
|
||
try:
|
||
resource.setrlimit(resource.RLIMIT_AS, (limit, limit))
|
||
except (ValueError, OSError) as exc:
|
||
print(
|
||
f"[run_job] 内存上限 {gb}GB 设置失败（{type(exc).__name__}: {exc}）；"
|
||
"本 Job 无内存隔离保护。若限额低于进程虚拟地址空间基线（macOS 常见），"
|
||
"可调大 config.yaml job.max_memory_gb 后重试。",
|
||
file=sys.stderr,
|
||
)
|
||
|
||
|
||
def main(argv: list[str] | None = None) -> int:
|
||
args = list(sys.argv[1:] if argv is None else argv)
|
||
if len(args) < 1:
|
||
print("用法: python -m app.cli.run_job <JOB_ID>", file=sys.stderr)
|
||
return 2
|
||
_apply_memory_limit()
|
||
# 先设内存上限再导入重依赖（pandas / sqlalchemy 等）
|
||
from app.application.services.job_executor import default_factories, execute_job
|
||
|
||
execute_job(args[0], **default_factories())
|
||
return 0
|
||
|
||
|
||
if __name__ == "__main__":
|
||
raise SystemExit(main())
|