Chọn loại proxy
Bắt đầu với proxy datacenter cho các trang web chấp nhận traffic tự động và API: chúng là nhanh nhất và có giá từ $0.58/IP mỗi IP trong một tháng với traffic không giới hạn. Chuyển sang proxy residential rotating khi một trang web trả lời địa chỉ máy chủ với captcha hoặc nội dung khác nhau; mỗi yêu cầu sau đó sẽ xuất phát từ một IP hộ gia đình ở quốc gia bạn đặt.
Đối với các crawl di chuyển hàng chục gigabyte mỗi ngày, gói residential không giới hạn cố định chi phí mỗi ngày ($41.53 cho một ngày) để bạn có thể chạy ở tốc độ tối đa.
Rotation, session và concurrency
Sử dụng rotation cho các trang danh sách và tìm kiếm, nơi mỗi yêu cầu độc lập. Sử dụng sticky session (thêm -session-name vào tên người dùng, được giữ đến 60 minutes) cho các luồng trải dài trên nhiều trang, chẳng hạn như lướt qua các kết quả dựa trên cookie.
Concurrency được thiết lập bởi scraper của bạn, không phải bởi gói: mở nhiều kết nối như công cụ của bạn xử lý. Giữ tỷ lệ yêu cầu lịch sự cho mỗi miền và tôn trọng các điều khoản và quy tắc robots của mỗi trang web đối với dữ liệu bạn thu thập.
Ước tính traffic
Một trang HTML trung bình có kích thước từ 100 đến 500 KB không bao gồm hình ảnh. Chặn hình ảnh, phông chữ và video trong trình duyệt headless của bạn thường giảm traffic hơn một nửa. Một gói residential 50 GB ($99.50) bao phủ khoảng 150.000 đến 400.000 trang nhẹ.
- Chỉ tải HTML ở những nơi bạn có thể
- Tái sử dụng session cho các luồng phân trang
- Thử lại với một IP mới sau khi bị chặn, không phải trên cùng một IP