Proxy türünü seçme
Otomatik trafiği ve API'leri kabul eden siteler için veri merkezi proxyleriyle başlayın: bunlar en hızlısıdır ve aylık sınırsız trafikle IP başına $0.58/IP'dan başlar. Bir site sunucu adreslerine captcha veya farklı içerikle yanıt verdiğinde döndürülen konut proxylerine geçin; her istek daha sonra belirlediğiniz ülkedeki bir ev IP'sinden çıkar.
Günde onlarca gigabayt hareket eden taramalar için sınırsız konut planı, günlük maliyeti sabitler ($41.53 bir gün için) böylece tam hızda çalışabilirsiniz.
Döndürme, oturumlar ve eşzamanlılık
Liste ve arama sayfaları için döndürmeyi kullanın, burada her istek bağımsızdır. Çerezlerin bağlı olduğu sonuçlar arasında gezinme gibi birkaç sayfayı kapsayan akışlar için yapışkan bir oturum kullanın (kullanıcı adına -session-name ekleyin, 60 dakika'ye kadar tutulur).
Eşzamanlılık, planınız tarafından değil, kazıyıcınız tarafından belirlenir: aracınızın kaldırabileceği kadar çok bağlantı açın. Her etki alanı için istek oranlarını kibar tutun ve topladığınız veriler için her sitenin şartlarını ve robot kurallarını saygıyla karşılayın.
Trafik tahmini
Ortalama bir HTML sayfası, resimler olmadan 100 ila 500 KB'dır. Headless tarayıcınızda resimleri, yazı tiplerini ve videoları engellemek genellikle trafiği yarıdan fazla azaltır. 50 GB'lık bir konut paketi ($99.50) kabaca 150.000 ila 400.000 hafif sayfayı kapsar.
- HTML'yi yalnızca yapabildiğiniz yerde alın
- Sayfalandırılmış akışlar için oturumları yeniden kullanın
- Bir engellemeden sonra aynı IP üzerinde değil, yeni bir IP üzerinde yeniden deneyin