初始化

2026-07-18 16:13:52 +08:00
parent c0070f0a5c
commit fe8b417ab6
75 changed files with 12898 additions and 1 deletions
@@ -0,0 +1,25 @@
+# ════════════════════════════════════════════════════
+# Profile: 2G 轻量 headless stealth
+# ════════════════════════════════════════════════════
+# 适用场景：
+#   - 海外服务器（3.5GB 总内存，约 1.2GB 可用）
+#   - 国内服务器低负载补充抓取
+#   - 10 个 RSS 优先源 + 2 个 Web 回退源
+# 策略：
+#   - stealth headless（隐藏 webdriver 特征）
+#   - 串行逐源抓取，内存超限自动 GC
+#   - 单源 2 小时超时，单页 45 秒超时
+# 部署：bash scripts/domestic_crawl_2g.sh [source_id]
+# ════════════════════════════════════════════════════
+
+proxy:
+  enabled: false                         # 海外服务器无需代理；国内如需，改为 true
+
+crawler:
+  max_memory_mb: 1800                    # 内存上限
+  source_timeout_sec: 7200               # 单源超时 2h
+  article_delay_sec: 3.0                 # 文章间冷却
+  page_timeout_sec: 45                   # 单页超时
+  viewport_width: 1024
+  viewport_height: 768
+  headful: false                         # headless stealth
@@ -0,0 +1,32 @@
+# ════════════════════════════════════════════════════
+# Profile: 8G headful + HTTP 代理 → Privoxy → SOCKS5
+# ════════════════════════════════════════════════════
+# 适用场景：
+#   - 国内服务器（7.9GB 总内存，约 6.1GB 可用）
+#   - 所有源均使用 headful Playwright 浏览器直接抓取
+#   - 通过 Privoxy (HTTP:3128) → ss-local (SOCKS5:1088) 代理访问海外网站
+# 策略：
+#   - headful 模式 + Xvfb 虚拟显示器（更像真人）
+#   - HTTP 代理 127.0.0.1:3128
+#   - 更高视口、更长超时
+#   - 串行逐源（内存充裕但仍需控制并发）
+#   - 单源 3 小时超时，单页 60 秒超时
+# 前置条件：
+#   sudo apt install xvfb
+#   Xvfb :99 -screen 0 1280x1024x24 &
+# 部署：bash scripts/domestic_crawl_8g.sh [source_id]
+# ════════════════════════════════════════════════════
+
+proxy:
+  enabled: true                           # 国内服务器通过 HTTP 代理访问海外网站
+  url: "http://127.0.0.1:3128"
+
+crawler:
+  max_memory_mb: 7500                    # 内存充裕
+  source_timeout_sec: 10800              # 单源超时 3h（反爬源可能更慢）
+  article_delay_sec: 4.0                 # 文章间冷却更长（更像真人）
+  page_timeout_sec: 60                   # 单页超时 60s
+  viewport_width: 1280                   # 更正常的视口
+  viewport_height: 900
+  headful: true                          # 有头浏览器 + Xvfb
+  xvfb_display: ":99"                    # Xvfb 虚拟显示器