Memilih jenis proksi
Mulakan dengan proksi pusat data untuk laman web yang menerima trafik automatik dan API: ia adalah yang terpantas dan berharga dari $0.58/IP setiap IP selama sebulan dengan trafik tanpa had. Beralih ke proksi residen berputar apabila laman web menjawab alamat pelayan dengan captcha atau kandungan yang berbeza; setiap permintaan kemudian akan keluar dari IP isi rumah di negara yang anda tetapkan.
Untuk pengikisan yang menggerakkan puluhan gigabait sehari, pelan residen tanpa had menetapkan kos setiap hari ($41.53 untuk satu hari) supaya anda boleh berjalan pada kelajuan penuh.
Putaran, sesi dan konkurensi
Gunakan putaran untuk halaman senarai dan carian, di mana setiap permintaan adalah bebas. Gunakan sesi melekit (tambah -session-name pada nama pengguna, disimpan sehingga 60 minit) untuk aliran yang merangkumi beberapa halaman, seperti meneliti hasil yang bergantung pada kuki.
Konkurensi ditetapkan oleh pengikis anda, bukan oleh pelan: buka sebanyak mungkin sambungan yang alat anda boleh uruskan. Pastikan kadar permintaan sopan setiap domain dan hormati syarat dan peraturan robot setiap laman web untuk data yang anda kumpulkan.
Menganggarkan trafik
Halaman HTML purata adalah 100 hingga 500 KB tanpa imej. Menyekat imej, fon dan video dalam pelayar tanpa kepala sering mengurangkan trafik lebih daripada separuh. Pakej residen 50 GB ($99.50) meliputi kira-kira 150,000 hingga 400,000 halaman ringan.
- Ambil HTML sahaja di mana anda boleh
- Gunakan semula sesi untuk aliran berhalaman
- Cuba semula pada IP baharu selepas sekatan, bukan pada yang sama