26 lines
1.3 KiB
YAML
26 lines
1.3 KiB
YAML
# ════════════════════════════════════════════════════
|
|
# Profile: 2G 轻量 headless stealth
|
|
# ════════════════════════════════════════════════════
|
|
# 适用场景：
|
|
# - 海外服务器（3.5GB 总内存，约 1.2GB 可用）
|
|
# - 国内服务器低负载补充抓取
|
|
# - 10 个 RSS 优先源 + 2 个 Web 回退源
|
|
# 策略：
|
|
# - stealth headless（隐藏 webdriver 特征）
|
|
# - 串行逐源抓取，内存超限自动 GC
|
|
# - 单源 2 小时超时，单页 45 秒超时
|
|
# 部署：bash scripts/domestic_crawl_2g.sh [source_id]
|
|
# ════════════════════════════════════════════════════
|
|
|
|
proxy:
|
|
enabled: false # 海外服务器无需代理；国内如需，改为 true
|
|
|
|
crawler:
|
|
max_memory_mb: 1800 # 内存上限
|
|
source_timeout_sec: 7200 # 单源超时 2h
|
|
article_delay_sec: 3.0 # 文章间冷却
|
|
page_timeout_sec: 45 # 单页超时
|
|
viewport_width: 1024
|
|
viewport_height: 768
|
|
headful: false # headless stealth
|