Pagpili ng uri ng proxy
Magsimula sa mga datacenter proxy para sa mga site na tumatanggap ng awtomatikong trapiko at API: sila ang pinakamabilis at nagkakahalaga mula sa $0.58/IP bawat IP para sa isang buwan na may walang limitasyong trapiko. Lumipat sa rotating residential proxy kapag ang isang site ay sumasagot sa mga server address na may captcha o ibang content; bawat request ay magmumula sa isang household IP sa bansang itinakda mo.
Para sa mga crawl na naglilipat ng sampu-sampung gigabytes sa isang araw, ang unlimited residential plan ay nag-aayos ng gastos bawat araw ($41.53 para sa isang araw) upang makapagpatakbo nang buong bilis.
Rotation, session, at concurrency
Gamitin ang rotation para sa mga listahan at search page, kung saan ang bawat request ay independyente. Gumamit ng sticky session (idagdag ang -session-name sa username, na pinapanatili hanggang 60 minuto) para sa mga flow na sumasaklaw sa maraming pahina, tulad ng pagba-browse sa mga resulta na umaasa sa cookies.
Ang concurrency ay itinatakda ng iyong scraper, hindi ng plan: magbukas ng maraming koneksyon hangga't kayang hawakan ng iyong tool. Panatilihing magalang ang rate ng request bawat domain at igalang ang mga tuntunin at robots rule ng bawat site para sa data na kinokolekta mo.
Pagtataya ng trapiko
Ang karaniwang HTML page ay 100 hanggang 500 KB nang walang mga imahe. Ang pag-block ng mga imahe, font, at video sa iyong headless browser ay madalas na nagpapababa ng trapiko ng higit sa kalahati. Ang isang 50 GB residential pack ($99.50) ay sumasaklaw sa humigit-kumulang 150,000 hanggang 400,000 light pages.
- Kunin lamang ang HTML kung saan maaari
- Muling gamitin ang session para sa mga paginated flow
- Subukan muli sa isang bagong IP pagkatapos ng block, hindi sa parehong IP