選擇代理類型
對於接受自動化流量和 API 的網站，從數據中心代理開始：它們速度最快，每月每 IP 價格從 $0.58/IP 起，流量無限。當網站以驗證碼或不同內容回應伺服器地址時，轉用旋轉住宅代理；每個請求都會從您設定的國家的家庭 IP 發出。
對於每天爬取數十 GB 的任務，無限量住宅計劃固定每日成本（$41.53 一天），讓您可以全速運行。
旋轉、會話和並發
對於列表和搜尋頁面，使用旋轉，因為每個請求都是獨立的。對於跨越多個頁面的流程（例如依賴於 cookie 的分頁結果），使用固定會話（在用戶名中添加 -session-name，持續時間最長 60 分鐘）。
並發由您的爬蟲工具設定，而非計劃：打開與工具處理能力相符的連接數。保持每個網域的請求速率禮貌，並尊重每個網站的條款和機器人規則以收集數據。
估算流量
一個不含圖片的 HTML 頁面平均為 100 到 500 KB。在您的無頭瀏覽器中屏蔽圖片、字體和視頻通常可以將流量減少一半以上。50 GB 的住宅流量包 ($99.50) 大約涵蓋 150,000 到 400,000 個輕量頁面。
- 僅在可以的地方獲取 HTML
- 對分頁流程重複使用會話
- 在遇到封鎖後使用新 IP 重試，而非同一 IP