Pagpili ng uri ng proxy
Magsimula sa datacenter proxies para sa mga site na tumatanggap ng automated traffic at APIs: sila ang pinakamabilis at nagkakahalaga mula sa $0.58/IP bawat IP para sa isang buwan na may walang limitasyong traffic. Lumipat sa rotating residential proxies kapag ang isang site ay sumasagot sa mga server address na may captchas o iba't ibang content; ang bawat request ay magmumula sa isang household IP sa bansang itinakda mo.
Para sa mga crawl na gumagalaw ng sampu-sampung gigabytes bawat araw, ang unlimited residential plan ay nag-aayos ng gastos bawat araw ($41.53 para sa isang araw) upang maaari kang magpatakbo sa buong bilis.
Rotation, sessions, at concurrency
Gamitin ang rotation para sa listahan at search pages, kung saan ang bawat request ay independyente. Gumamit ng sticky session (idagdag ang -session-name sa username, na pinanatili hanggang 60 मिनट) para sa mga flow na sumasaklaw sa ilang pages, tulad ng pag-navigate sa mga resulta na umaasa sa cookies.
Ang concurrency ay itinakda ng iyong scraper, hindi ng plan: magbukas ng maraming koneksyon hangga't kayang hawakan ng iyong tool. Panatilihin ang mga rate ng request na magalang bawat domain at igalang ang mga tuntunin at robots rules ng bawat site para sa data na iyong kinokolekta.
Pagtatantya ng traffic
Ang isang average na HTML page ay 100 hanggang 500 KB nang walang mga imahe. Ang pag-block ng mga imahe, font, at video sa iyong headless browser ay madalas na nagbabawas ng traffic ng higit sa kalahati. Ang isang 50 GB residential pack ($99.50) ay sumasaklaw sa humigit-kumulang 150,000 hanggang 400,000 light pages.
- Kumuha ng HTML lamang kung saan maaari
- I-reuse ang mga session para sa mga paginated flow
- Mag-retry sa isang bagong IP pagkatapos ng block, hindi sa parehong IP