프록시 유형 선택
데이터센터 프록시로 시작해보세요. 자동화된 트래픽과 API를 허용하는 사이트에 가장 빠르고, 한 달 동안 무제한 트래픽을 제공하며 IP당 $0.58/IP부터 시작해요. 사이트가 서버 주소에 캡차나 다른 콘텐츠로 응답할 때는 회전 주거용 프록시로 전환하세요. 모든 요청은 설정한 국가의 가정용 IP에서 나가요.
하루에 수십 기가바이트를 크롤링하는 경우, 무제한 주거용 플랜을 사용하면 하루당 비용($41.53)이 고정되어 있어 최대 속도로 실행할 수 있어요.
회전, 세션 및 동시성
리스트와 검색 페이지에는 각 요청이 독립적인 회전을 사용하세요. 여러 페이지에 걸쳐 진행되는 흐름, 예를 들어 쿠키에 의존하는 결과를 페이지로 넘기는 경우에는 고정 세션(사용자명에 -session-name을 추가하고, 최대 60분 동안 유지)을 사용하세요.
동시 접속은 플랜이 아니라 스크래퍼에 따라 설정돼요. 도구가 처리할 수 있는 만큼 연결을 열 수 있어요. 도메인별로 요청 속도를 예의 바르게 유지하고, 수집하는 데이터에 대해 각 사이트의 약관과 로봇 규칙을 준수하세요.
트래픽 예측
평균 HTML 페이지는 이미지 없이 100~500 KB 정도예요. 헤드리스 브라우저에서 이미지, 폰트, 비디오를 차단하면 트래픽을 절반 이상 줄일 수 있어요. 50 GB 주거용 패키지($99.50)로 약 150,000~400,000개의 간단한 페이지를 처리할 수 있어요.
- 가능한 경우 HTML만 가져오세요
- 페이지별 흐름에는 세션을 재사용하세요
- 차단 후 같은 IP가 아닌 새로운 IP로 재시도하세요