simon
3b44f64f66
- docs: 删除 CLAUDE.md / continuation.md / english-news-plan.md 及旧版 intlnews_usage.*，
统一迁移到 docs/{README,architecture,quickstart,usage,pipeline,configuration,deployment,development,faq}.md
- README: 精简为仓库入口，指向 docs/
- configs/sources.yaml: 更新注释指向新文档
- .env.example: 修正 DashScope Embedding 端点说明
Pipeline 修复：
- dedup/llm/embedding/vectorstore/reporter: 过滤 M2 no_content / 空正文，避免污染下游与 Qdrant
- dedup/pipeline: 改为先写唯一文件再写指纹，避免崩溃导致文章永久丢失
- crawler/orchestrator: sources_crawled 改为“尝试数”，成功数 = crawled - failed
- crawler/storage: write_index_jsonl 从文章路径推断日期，修复跨天/测试路径问题
- scheduler/pipeline: STEP_TIMEOUTS 实际生效（SIGALRM）
- scheduler/reporter: emb_count 排除 index.json；日报跳过无原文事件
- vectorstore/pipeline: payload 增加 source_ids；--recreate --all 时空日期也重建 collection
- app/cli: extract/dedup/translate/embed/index/pipeline 支持 --date；embed/index 支持 --all；crawl 全源失败返回非零
- scripts: domestic_full/crawl_8g/crawl_2g/pipeline 安全加载 .env；M1 全失败不标记且最终退出码=1
32 lines
1.2 KiB
Bash
32 lines
1.2 KiB
Bash
# ==========================================
|
||
# English Financial News — 敏感信息
|
||
# 复制为 .env 并填入真实值
|
||
# 仅存放密钥、Token、API 地址
|
||
# ==========================================
|
||
|
||
# --- DeepSeek ---
|
||
DEEPSEEK_API_KEY=sk-your-deepseek-key
|
||
DEEPSEEK_BASE_URL=https://api.deepseek.com
|
||
|
||
# --- Qwen / 通义千问 ---
|
||
QWEN_API_KEY=sk-your-qwen-key
|
||
QWEN_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
|
||
|
||
# --- DashScope / 阿里百炼 ---
|
||
# M5 Embedding 使用 OpenAI 兼容端点，默认复用 QWEN_BASE_URL；
|
||
# 如需独立端点，可设置 DASHSCOPE_EMBEDDING_BASE_URL。
|
||
DASHSCOPE_API_KEY=sk-your-dashscope-key
|
||
# DASHSCOPE_EMBEDDING_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
|
||
|
||
# --- Qdrant ---
|
||
QDRANT_URL=http://localhost:6333
|
||
QDRANT_API_KEY=
|
||
|
||
# --- 日报结构化入库（与 news 项目共用 MySQL myquant 库） ---
|
||
# pi5 通过内网直连 pi(192.168.1.10) 上的 autossh 隧道（0.0.0.0:13306 → doorcome.cn:3306）
|
||
NEWS_DB_HOST=192.168.1.10
|
||
NEWS_DB_PORT=13306
|
||
NEWS_DB_USER=myquant
|
||
NEWS_DB_PASSWORD= # 填真实值（与 news 项目 .env 的 NEWS_DB_PASSWORD 相同），禁止写入源码
|
||
NEWS_DB_NAME=myquant
|