Wybór typu proxy
Zacznij od proxy datacenter dla stron akceptujących automatyczny ruch i API: są najszybsze i kosztują od $0.58/IP za IP na miesiąc z nieograniczonym ruchem. Przejdź na rotujące proxy rezydencyjne, gdy strona odpowiada adresom serwerów captchami lub różnymi treściami; każde żądanie wychodzi wtedy z domowego IP w kraju, który ustawisz.
Do skrapowania przenoszącego dziesiątki gigabajtów dziennie, nieograniczony plan rezydencyjny ustala koszt na dzień ($41.53 za jeden dzień), abyś mógł działać z pełną prędkością.
Rotacja, sesje i współbieżność
Użyj rotacji dla stron list i wyszukiwań, gdzie każde żądanie jest niezależne. Użyj sesji trwałej (dodaj -session-name do nazwy użytkownika, zachowanej do 60 minut) dla przepływów obejmujących kilka stron, takich jak przewijanie wyników opartych na plikach cookie.
Współbieżność jest ustawiana przez twój skraper, nie przez plan: otwórz tyle połączeń, ile obsługuje twoje narzędzie. Utrzymuj stawki żądań uprzejme na domenę i szanuj zasady oraz reguły robots każdej strony dla danych, które zbierasz.
Szacowanie ruchu
Średnia strona HTML ma 100 do 500 KB bez obrazów. Blokowanie obrazów, czcionek i wideo w twojej przeglądarce bezgłowej często zmniejsza ruch o więcej niż połowę. Pakiet rezydencyjny 50 GB ($99.50) obejmuje około 150 000 do 400 000 lekkich stron.
- Pobieraj HTML tylko tam, gdzie możesz
- Ponownie używaj sesji dla przepływów stronicowanych
- Ponów próbę na nowym IP po blokadzie, nie na tym samym