যেকোন স্কেলে ওয়েব স্ক্র্যাপিংয়ের জন্য প্রক্সি

প্রক্সি টাইপ নির্বাচন

সেইসব সাইট এবং API-এর জন্য ডেটাসেন্টার প্রক্সি দিয়ে শুরু করুন যা স্বয়ংক্রিয় ট্র্যাফিক গ্রহণ করে: এগুলি সবচেয়ে দ্রুত এবং মাসে প্রতি IP-এর জন্য $0.58/IP থেকে শুরু করে সীমাহীন ট্র্যাফিকের জন্য। যখন একটি সাইট সার্ভার ঠিকানাগুলিকে ক্যাপচা বা ভিন্ন কন্টেন্ট দিয়ে উত্তর দেয় তখন রোটেটিং রেসিডেনশিয়াল প্রক্সিতে যান; প্রতিটি অনুরোধ তখন আপনি সেট করা দেশের একটি হাউজহোল্ড IP থেকে ছেড়ে যায়।

যে ক্রলগুলি দিনে দশ গিগাবাইটের বেশি ট্র্যাফিক সরিয়ে নেয়, সেগুলির জন্য সীমাহীন রেসিডেনশিয়াল প্ল্যান প্রতি দিনের জন্য খরচ স্থির করে ($41.53 এক দিনের জন্য) যাতে আপনি পূর্ণ গতিতে চালাতে পারেন।

রোটেশন, সেশন এবং সমবর্তন

তালিকা এবং অনুসন্ধান পৃষ্ঠাগুলির জন্য রোটেশন ব্যবহার করুন, যেখানে প্রতিটি অনুরোধ স্বাধীন। কুকির উপর নির্ভরশীল ফলাফলগুলির মাধ্যমে পৃষ্ঠাগুলির মতো কয়েকটি পৃষ্ঠা জুড়ে থাকা প্রবাহের জন্য একটি স্টিকি সেশন ব্যবহার করুন (ব্যবহারকারীর নামে -session-name যোগ করুন, 60 মিনিট পর্যন্ত রাখা হয়)।

সমবর্তন আপনার স্ক্র্যাপার দ্বারা সেট করা হয়, প্ল্যান দ্বারা নয়: আপনার টুল যতগুলি সংযোগ হ্যান্ডেল করতে পারে ততগুলি সংযোগ খুলুন। প্রতি ডোমেইনের জন্য অনুরোধের হার নম্র রাখুন এবং আপনি যে ডেটা সংগ্রহ করেন তার জন্য প্রতিটি সাইটের শর্তাবলী এবং রোবট নিয়মগুলি সম্মান করুন।

ট্র্যাফিক অনুমান

একটি গড় HTML পৃষ্ঠা ছবি ছাড়াই 100 থেকে 500 KB। আপনার হেডলেস ব্রাউজারে ছবি, ফন্ট এবং ভিডিও ব্লক করা প্রায়ই ট্র্যাফিক অর্ধেকের বেশি কমিয়ে দেয়। একটি 50 GB রেসিডেনশিয়াল প্যাক ($99.50) প্রায় 150,000 থেকে 400,000 হালকা পৃষ্ঠা কভার করে।

• যেখানে পারেন শুধুমাত্র HTML ফেচ করুন
• পেজিনেটেড প্রবাহের জন্য সেশন পুনরায় ব্যবহার করুন
• একটি ব্লকের পরে একই IP-এ নয়, একটি নতুন IP-এ পুনরায় চেষ্টা করুন