Memilih jenis proxy
Mulailah dengan proxy datacenter untuk situs yang menerima lalu lintas otomatis dan API: mereka adalah yang tercepat dan berharga mulai dari $0.58/IP per IP selama sebulan dengan lalu lintas tidak terbatas. Beralih ke proxy residensial berotasi ketika sebuah situs merespons alamat server dengan captcha atau konten yang berbeda; setiap permintaan kemudian keluar dari IP rumah tangga di negara yang Anda tentukan.
Untuk crawl yang memindahkan puluhan gigabyte sehari, paket residensial tidak terbatas menetapkan biaya per hari ($41.53 untuk satu hari) sehingga Anda dapat berjalan dengan kecepatan penuh.
Rotasi, sesi, dan konkurensi
Gunakan rotasi untuk halaman daftar dan pencarian, di mana setiap permintaan independen. Gunakan sesi lengket (tambahkan -session-name ke nama pengguna, dipertahankan hingga 60 menit) untuk alur yang mencakup beberapa halaman, seperti menjelajahi hasil yang bergantung pada cookie.
Konkurensi ditentukan oleh scraper Anda, bukan oleh paket: buka sebanyak mungkin koneksi yang dapat ditangani oleh alat Anda. Pertahankan tingkat permintaan yang sopan per domain dan hormati ketentuan dan aturan robot setiap situs untuk data yang Anda kumpulkan.
Memperkirakan lalu lintas
Halaman HTML rata-rata adalah 100 hingga 500 KB tanpa gambar. Memblokir gambar, font, dan video di browser headless Anda sering kali mengurangi lalu lintas lebih dari setengah. Paket residensial 50 GB ($99.50) mencakup sekitar 150.000 hingga 400.000 halaman ringan.
- Ambil HTML hanya di tempat yang Anda bisa
- Gunakan kembali sesi untuk alur yang dipaginasi
- Coba lagi dengan IP baru setelah diblokir, bukan dengan yang sama