 Simon
|
93e32f4e63
|
feat(data): B1-2 指数成分同步（Provider + CLI sync index_weight）
- MarketDataProvider.get_index_weight（协议）；Tushare 实现 normalize_index_weight +
get_index_weight（ts_code=... 全历史成分权重）；Sina 抛 DataSourceNotSupported；
FailoverProvider 代理并审计每次尝试
- CLI：sync index_weight --code 000300.SH（拉取→幂等落库 index_weight→打印最新快照；
失败走 sync_log 审计并返回非零）
- tests：Tushare 映射与调用（FakePro）、Failover 主源单源语义（新浪不支持被审计）；
全量 pytest 通过
|
2026-09-09 07:29:26 +08:00 |
|
|
Simon
|
442999f701
|
feat(data): 财务/日线同步增量 + 新浪「两边一致」校验兜底 + 逐只进度
- financial 默认增量：按 A 股披露节奏判断已最新并跳过；--full 强制全量重拉
- Tushare fina_indicator 增加报告期窗口与 100 条/请求自动分页（修复老报告期静默截断）
- 新浪兜底收紧为校验兜底：两源重叠历史一致才导入缺失键，行标记 source=sina；
财务可比字段取 eps/销售毛利率（ROE 两端口径不同不作依据），日线只比较最近重叠交易日
- CLI 输出逐只进度与导入内容描述（来源/行数/报告期与公告区间），失败股票留待重跑
- financial_indicator 增 source 列（迁移 d3f6c9a21b04）；新增一致性/分页/服务测试
|
2026-09-08 21:48:09 +08:00 |
|
|
Simon
|
02e42184be
|
test+fix: 新浪 jsonp 稳健解析（容忍注释/括号包裹/尾部杂字符）；Job API 测试改 tmp 种子库
- 真实响应含 /*...*/ 注释与 var data=([...]); 前缀 → _extract_jsonp 取首 '[' 至末 ']'
- 新浪真实网络冒烟通过：财务 100 期（含披露日）+ 日K 最近窗口（source=sina/adjust=qfq）
- TestJobsApi / experiments 用例改为 monkeypatch SessionLocal → tmp 种子库（5 股×300 日），
与真实全市场库（779 万行）解耦，全量稳定 <1min
- pytest 全量 141 passed / ruff clean
|
2026-09-06 21:34:29 +08:00 |
|
|
Simon
|
56254172b3
|
feat(data): Tushare 限速退避 + 新浪兜底（财务 getFinanceReport2022 / 日K 前复权），source+adjust 口径标记
- TushareProvider：频率超限按指数退避重试（不再一次 200/min 即中断），最长等待 30s
- SinaProvider 重构（参考 cc-cursor 公开接口实现）：
· 新增财务通道 CompanyFinanceService.getFinanceReport2022(source=gjzb) → FinancialIndicator
（report_date / announce_date=publish_date），与 Tushare fina_indicator schema 一致
· 日 K 保留 jsonp（前复权），统一 UA + 重试
· 不支持方法仍抛 DataSourceNotSupported（复权因子/交易日历/基础信息）
- FailoverProvider 现在可对 daily 与 financial 兜底（CLI _failover_provider 接 SinaProvider）
- DailyBar + stock_daily 表新增 source/adjust 列：新浪兜底行标记 sina/qfq，
Tushare 恢复后 --resume 按同键覆盖回不复权 → 两源格式一致且可追溯
- 迁移 91c4e27a03fb 已生成；执行需在全市场同步结束后：uv run alembic upgrade head
- 测试 34+ 项（新浪财务解析/格式一致/限速退避等）通过
|
2026-09-06 20:52:13 +08:00 |
|
|
Simon
|
2da234220a
|
feat(backend): Phase 1 数据层 — Domain / Provider / Failover 审计 + 持久化 + 同步 CLI
- domain：市场数据实体（Stock / 交易日历 / 日线 / 复权 / 财务含 announce_date）+ Repository 与 MarketDataProvider Protocol
- 数据源：TushareProvider（归一化、重试、鉴权错误归类）、SinaProvider（备用，明确前复权口径与能力边界）、FailoverProvider + SyncLog 审计（禁止静默切换）
- 持久化：SQLAlchemy 2.x Models + Repository 实现（按业务键幂等 upsert、as_of_date 防未来函数过滤）+ Alembic 迁移
- CLI：uv run python -m app.cli.sync {basic|calendar|daily|financial|verify}，支持 --resume 断点续传
- 真实 Tushare 验证：stock 5556 / 交易日历 366 / daily+factor 242 / 财务 55；sync_log 审计完整
- 测试：38 passed（domain / provider / failover / repository / 未来函数 / 迁移），ruff clean
|
2026-09-06 16:59:28 +08:00 |
|