Auswahl des Proxy-Typs
Beginnen Sie mit Datacenter-Proxys für Websites, die automatisierten Traffic und APIs akzeptieren: Sie sind die schnellsten und kosten ab $0.58/IP pro IP für einen Monat mit unbegrenztem Traffic. Wechseln Sie zu rotierenden Residential-Proxys, wenn eine Website Serveradressen mit Captchas oder unterschiedlichen Inhalten beantwortet; jede Anfrage verlässt dann von einer Haushalts-IP in dem Land, das Sie festgelegt haben.
Für Crawls, die täglich Dutzende von Gigabytes bewegen, fixiert der Unlimited-Residential-Plan die Kosten pro Tag ($41.53 für einen Tag), sodass Sie mit voller Geschwindigkeit arbeiten können.
Rotation, Sessions und Parallelität
Verwenden Sie die Rotation für Listen- und Suchseiten, bei denen jede Anfrage unabhängig ist. Verwenden Sie eine sticky Session (fügen Sie -session-name zum Benutzernamen hinzu, bis zu 60 Minuten beibehalten) für Abläufe, die mehrere Seiten umfassen, wie das Durchblättern von Ergebnissen, die Cookies benötigen.
Die Parallelität wird von Ihrem Scraper festgelegt, nicht vom Plan: Öffnen Sie so viele Verbindungen, wie Ihr Tool verarbeiten kann. Halten Sie die Anfragehäufigkeit pro Domain höflich und respektieren Sie die Bedingungen und Robots-Regeln jeder Website für die Daten, die Sie sammeln.
Schätzung des Traffics
Eine durchschnittliche HTML-Seite ist 100 bis 500 KB ohne Bilder. Das Blockieren von Bildern, Schriftarten und Videos in Ihrem Headless-Browser reduziert den Traffic oft um mehr als die Hälfte. Ein 50 GB Residential-Paket ($99.50) deckt ungefähr 150.000 bis 400.000 leichte Seiten ab.
- Holen Sie HTML nur dort ab, wo Sie können
- Wiederverwenden Sie Sessions für paginierte Abläufe
- Wiederholen Sie nach einer Sperre auf einer neuen IP, nicht auf derselben