Pagpili ng uri ng proxy
Magsimula sa mga datacenter proxy para sa mga site na tumatanggap ng automated traffic at APIs: sila ang pinakamabilis at nagkakahalaga mula sa $0.58/IP bawat IP para sa isang buwan na may unlimited traffic. Lumipat sa rotating residential proxy kapag ang isang site ay sumasagot sa mga server address na may captcha o iba't ibang content; ang bawat request ay magmumula sa isang household IP sa bansa na itinakda mo.
Para sa mga crawl na gumagalaw ng sampu-sampung gigabytes sa isang araw, ang unlimited residential plan ay nagfi-fix sa cost kada araw ($41.53 para sa isang araw) upang maaari kang tumakbo sa full speed.
Rotation, sessions, at concurrency
Gamitin ang rotation para sa listahan at search page, kung saan ang bawat request ay independent. Gumamit ng sticky session (idagdag ang -session-name sa username, na tinatagal hanggang 60 хвилин) para sa mga flow na sumasaklaw sa maraming page, tulad ng pagdaan sa mga resulta na umaasa sa cookies.
Ang concurrency ay itinakda ng iyong scraper, hindi ng plan: magbukas ng maraming koneksyon hangga't kayang hawakan ng iyong tool. Panatilihing polite ang request rates kada domain at igalang ang mga termino at robots rules ng bawat site para sa data na iyong kinokolekta.
Pag-estima ng traffic
Ang average na HTML page ay 100 hanggang 500 KB nang walang mga imahe. Ang pag-block ng mga imahe, font, at video sa iyong headless browser ay madalas na nagbabawas ng traffic ng higit sa kalahati. Ang isang 50 GB residential pack ($99.50) ay sumasaklaw sa humigit-kumulang 150,000 hanggang 400,000 light pages.
- Kumuha ng HTML lamang kung saan maaari
- I-reuse ang mga session para sa mga paginated flow
- Mag-retry sa isang bagong IP pagkatapos ng block, hindi sa parehong IP