# ════════════════════════════════════════════════════ # Profile: 8G headful + HTTP 代理 → Privoxy → SOCKS5 # ════════════════════════════════════════════════════ # 适用场景: # - 国内服务器(7.9GB 总内存,约 6.1GB 可用) # - 所有源均使用 headful Playwright 浏览器直接抓取 # - 通过 Privoxy (HTTP:3128) → ss-local (SOCKS5:1088) 代理访问海外网站 # 策略: # - headful 模式 + Xvfb 虚拟显示器(更像真人) # - HTTP 代理 127.0.0.1:3128 # - 更高视口、更长超时 # - 串行逐源(内存充裕但仍需控制并发) # - 单源 3 小时超时,单页 60 秒超时 # 前置条件: # sudo apt install xvfb # Xvfb :99 -screen 0 1280x1024x24 & # 部署:bash scripts/domestic_crawl_8g.sh [source_id] # ════════════════════════════════════════════════════ proxy: enabled: true # 国内服务器通过 HTTP 代理访问海外网站 url: "http://127.0.0.1:3128" crawler: max_memory_mb: 7500 # 内存充裕 source_timeout_sec: 10800 # 单源超时 3h(反爬源可能更慢) article_delay_sec: 4.0 # 文章间冷却更长(更像真人) page_timeout_sec: 60 # 单页超时 60s viewport_width: 1280 # 更正常的视口 viewport_height: 900 headful: true # 有头浏览器 + Xvfb xvfb_display: ":99" # Xvfb 虚拟显示器