Chọn loại proxy
Bắt đầu với proxy datacenter cho các trang web chấp nhận traffic tự động và API: chúng là nhanh nhất và có giá từ $0.58/IP mỗi IP trong một tháng với traffic không giới hạn. Chuyển sang proxy residential xoay vòng khi một trang web trả lời địa chỉ máy chủ với captcha hoặc nội dung khác nhau; mỗi yêu cầu sau đó sẽ xuất phát từ một IP hộ gia đình ở quốc gia bạn đặt.
Đối với các lượt thu thập dữ liệu di chuyển hàng chục gigabyte mỗi ngày, gói residential không giới hạn cố định chi phí mỗi ngày ($41.53 cho một ngày) để bạn có thể chạy ở tốc độ tối đa.
Rotation, session và đồng thời
Sử dụng rotation cho các trang danh sách và tìm kiếm, nơi mỗi yêu cầu độc lập. Sử dụng session cố định (thêm -session-name vào tên người dùng, được giữ đến 60 minutos) cho các luồng trải dài trên nhiều trang, chẳng hạn như lướt qua các kết quả dựa trên cookie.
Đồng thời được thiết lập bởi công cụ thu thập dữ liệu của bạn, không phải bởi gói: mở nhiều kết nối như công cụ của bạn xử lý. Duy trì tỷ lệ yêu cầu lịch sự trên mỗi tên miền và tôn trọng các điều khoản và quy tắc robots của mỗi trang web đối với dữ liệu bạn thu thập.
Ước tính traffic
Một trang HTML trung bình có kích thước từ 100 đến 500 KB không bao gồm hình ảnh. Chặn hình ảnh, phông chữ và video trong trình duyệt không đầu thường giảm traffic hơn một nửa. Một gói residential 50 GB ($99.50) bao phủ khoảng 150.000 đến 400.000 trang nhẹ.
- Chỉ tải HTML khi có thể
- Tái sử dụng session cho các luồng phân trang
- Thử lại trên một IP mới sau khi bị chặn, không phải trên cùng một IP