選擇代理類型
從數據中心代理開始,適用於接受自動化流量和 API 的網站:它們是最快的,且每月每 IP 成本從 $0.58/IP 起,流量無限。當網站對伺服器地址回應驗證碼或不同內容時,轉用輪換住宅代理;每個請求都會從您設置的國家的家庭 IP 發出。
對於每天移動數十 GB 的爬取,無限量住宅計劃固定每日成本($41.53 一天),讓您可以全速運行。
輪換、會話和並發
對於列表和搜索頁面,使用輪換,每個請求都是獨立的。對於跨越多個頁面的流程,例如依賴 cookie 的分頁結果,使用固定會話(在用戶名中添加 -session-name,保持最多 60 分鐘)。
並發由您的爬取工具設置,而不是由計劃設置:打開與您的工具處理能力一樣多的連接。保持每個域的請求速率禮貌,並尊重每個網站的條款和機器人規則以收集數據。
估算流量
一個平均的 HTML 頁面大小為 100 到 500 KB,不包括圖片。在您的無頭瀏覽器中阻止圖片、字體和視頻通常可以將流量減少一半以上。50 GB 的住宅流量包($99.50)大約涵蓋 150,000 到 400,000 個輕量頁面。
- 僅在可能的情況下獲取 HTML
- 重複使用分頁流程的會話
- 在封鎖後使用新 IP 重試,而不是在同一個 IP 上重試