Escolhendo o tipo de proxy
Comece com proxies de datacenter para sites que aceitam tráfego automatizado e APIs: eles são os mais rápidos e custam a partir de $0.58/IP por IP por um mês com tráfego ilimitado. Mude para proxies residenciais rotativos quando um site responder aos endereços do servidor com captchas ou conteúdo diferente; cada solicitação então sai de um IP residencial no país que você definir.
Para crawls que movimentam dezenas de gigabytes por dia, o plano residencial ilimitado fixa o custo por dia ($41.53 por um dia) para que você possa rodar em velocidade máxima.
Rotação, sessões e concorrência
Use rotação para páginas de listas e buscas, onde cada solicitação é independente. Use uma sessão fixa (adicione -session-name ao nome de usuário, mantida por até 60 minutos) para fluxos que abrangem várias páginas, como navegar por resultados que dependem de cookies.
A concorrência é definida pelo seu scraper, não pelo plano: abra quantas conexões sua ferramenta suportar. Mantenha as taxas de solicitação educadas por domínio e respeite os termos e regras de robots de cada site para os dados que você coleta.
Estimando o tráfego
Uma página HTML média tem de 100 a 500 KB sem imagens. Bloquear imagens, fontes e vídeos no seu navegador headless muitas vezes reduz o tráfego pela metade. Um pacote residencial de 50 GB ($99.50) cobre aproximadamente 150.000 a 400.000 páginas leves.
- Busque HTML apenas onde puder
- Reutilize sessões para fluxos paginados
- Tente novamente com um novo IP após um bloqueio, não no mesmo