33 lines
1.8 KiB
YAML
33 lines
1.8 KiB
YAML
# ════════════════════════════════════════════════════
|
|
# Profile: 8G headful + HTTP 代理 → Privoxy → SOCKS5
|
|
# ════════════════════════════════════════════════════
|
|
# 适用场景：
|
|
# - 国内服务器（7.9GB 总内存，约 6.1GB 可用）
|
|
# - 所有源均使用 headful Playwright 浏览器直接抓取
|
|
# - 通过 Privoxy (HTTP:3128) → ss-local (SOCKS5:1088) 代理访问海外网站
|
|
# 策略：
|
|
# - headful 模式 + Xvfb 虚拟显示器（更像真人）
|
|
# - HTTP 代理 127.0.0.1:3128
|
|
# - 更高视口、更长超时
|
|
# - 串行逐源（内存充裕但仍需控制并发）
|
|
# - 单源 3 小时超时，单页 60 秒超时
|
|
# 前置条件：
|
|
# sudo apt install xvfb
|
|
# Xvfb :99 -screen 0 1280x1024x24 &
|
|
# 部署：bash scripts/domestic_crawl_8g.sh [source_id]
|
|
# ════════════════════════════════════════════════════
|
|
|
|
proxy:
|
|
enabled: true # 国内服务器通过 HTTP 代理访问海外网站
|
|
url: "http://127.0.0.1:3128"
|
|
|
|
crawler:
|
|
max_memory_mb: 7500 # 内存充裕
|
|
source_timeout_sec: 10800 # 单源超时 3h（反爬源可能更慢）
|
|
article_delay_sec: 4.0 # 文章间冷却更长（更像真人）
|
|
page_timeout_sec: 60 # 单页超时 60s
|
|
viewport_width: 1280 # 更正常的视口
|
|
viewport_height: 900
|
|
headful: true # 有头浏览器 + Xvfb
|
|
xvfb_display: ":99" # Xvfb 虚拟显示器
|