プロキシタイプの選択
自動化されたトラフィックとAPIを受け入れるサイトには、まずデータセンターのプロキシを使用します。これらは最速で、1か月あたり$0.58/IPから無制限のトラフィックを提供します。サイトがサーバーアドレスにキャプチャや異なるコンテンツで応答する場合は、ローテーションレジデンシャルプロキシに切り替えます。これにより、設定した国の家庭用IPから各リクエストが送信されます。
1日に数十ギガバイトのクロールを行う場合、無制限レジデンシャルプランでは1日あたりのコストが固定されるため（$41.53で1日）、フルスピードで実行できます。
ローテーション、セッション、並行性
リストページや検索ページにはローテーションを使用します。各リクエストが独立しているためです。クッキーに依存する結果をページングするなど、複数のページにまたがるフローには、セッション名をユーザー名に追加して固定セッションを使用します（60 分まで保持）。
並行性はプランではなく、スクレイパーによって設定されます。ツールが処理できる限りの接続を開きます。ドメインごとのリクエストレートを礼儀正しく保ち、収集するデータについて各サイトの利用規約とrobotsルールを尊重してください。
トラフィックの見積もり
平均的なHTMLページは、画像なしで100〜500 KBです。ヘッドレスブラウザで画像、フォント、ビデオをブロックすると、トラフィックが半分以上削減されることがよくあります。50 GBのレジデンシャルパック（$99.50）は、約150,000〜400,000の軽量ページをカバーします。
- HTMLのみを取得できる場所で取得する
- ページネーションフローにはセッションを再利用する
- ブロックされた後は同じIPではなく、新しいIPで再試行する