適用於任何規模的網頁爬取代理

網絡爬蟲自動收集公共頁面。代理將這些請求分散到多個 IP 地址,使每個請求看起來像普通訪客,並讓您看到來自數據所在國家/地區的頁面。

選擇代理類型

從數據中心代理開始,適用於接受自動化流量和 API 的網站:它們是最快的,且每月每 IP 成本從 $0.58/IP 起,流量無限。當網站對伺服器地址回應驗證碼或不同內容時,轉用輪換住宅代理;每個請求都會從您設置的國家的家庭 IP 發出。

對於每天移動數十 GB 的爬取,無限量住宅計劃固定每日成本($41.53 一天),讓您可以全速運行。

輪換、會話和並發

對於列表和搜索頁面,使用輪換,每個請求都是獨立的。對於跨越多個頁面的流程,例如依賴 cookie 的分頁結果,使用固定會話(在用戶名中添加 -session-name,保持最多 60 分鐘)。

並發由您的爬取工具設置,而不是由計劃設置:打開與您的工具處理能力一樣多的連接。保持每個域的請求速率禮貌,並尊重每個網站的條款和機器人規則以收集數據。

估算流量

一個平均的 HTML 頁面大小為 100 到 500 KB,不包括圖片。在您的無頭瀏覽器中阻止圖片、字體和視頻通常可以將流量減少一半以上。50 GB 的住宅流量包($99.50)大約涵蓋 150,000 到 400,000 個輕量頁面。

  • 僅在可能的情況下獲取 HTML
  • 重複使用分頁流程的會話
  • 在封鎖後使用新 IP 重試,而不是在同一個 IP 上重試

為網絡爬蟲設定住宅代理

使用加密貨幣一次性付款,付款確認後立即連接。