การเลือกประเภท Proxy
เริ่มต้นด้วย Proxy datacenter สำหรับเว็บไซต์ที่ยอมรับการใช้งานอัตโนมัติและ API: เป็นประเภทที่เร็วที่สุดและมีราคาเริ่มต้นที่ $0.58/IP ต่อ IP ต่อเดือนโดยไม่จำกัดปริมาณการใช้งาน เปลี่ยนไปใช้ Proxy residential ที่หมุนเวียนเมื่อเว็บไซต์ตอบสนองด้วย captcha หรือเนื้อหาที่แตกต่างกัน ทุกคำขอจะออกจาก IP ของครัวเรือนในประเทศที่คุณตั้งค่า
สำหรับการสแกนที่ใช้ข้อมูลหลายสิบ GB ต่อวัน แผน unlimited residential จะกำหนดต้นทุนต่อวัน ($41.53 สำหรับหนึ่งวัน) เพื่อให้คุณสามารถทำงานได้เต็มความเร็ว
Rotation, session และ concurrency
ใช้ rotation สำหรับหน้า list และ search ที่แต่ละคำขอเป็นอิสระจากกัน ใช้ sticky session (เพิ่ม -session-name ในชื่อผู้ใช้ ซึ่งจะคงอยู่ได้ถึง 60 นาที) สำหรับการไหลของงานที่ครอบคลุมหลายหน้า เช่น การเลื่อนหน้าผลลัพธ์ที่ต้องใช้คุกกี้
Concurrency ถูกกำหนดโดยเครื่องมือสแกนของคุณ ไม่ใช่โดยแผน: เปิดการเชื่อมต่อได้มากเท่าที่เครื่องมือของคุณรองรับ รักษาอัตราการร้องขอให้เหมาะสมต่อโดเมนและเคารพเงื่อนไขและกฎ robots ของแต่ละเว็บไซต์สำหรับข้อมูลที่คุณเก็บรวบรวม
การประมาณปริมาณการใช้งาน
หน้า HTML โดยเฉลี่ยมีขนาด 100 ถึง 500 KB โดยไม่มีรูปภาพ การบล็อกรูปภาพ ฟอนต์ และวิดีโอในเบราว์เซอร์ headless มักจะลดปริมาณการใช้งานลงมากกว่าครึ่ง แพ็กเกจ residential 50 GB ($99.50) สามารถครอบคลุมหน้าเว็บเบาได้ประมาณ 150,000 ถึง 400,000 หน้า
- ดึง HTML เฉพาะที่คุณสามารถทำได้
- ใช้ session ซ้ำสำหรับการไหลของงานที่มีการแบ่งหน้า
- ลองใหม่ด้วย IP ใหม่หลังจากถูกบล็อก ไม่ใช่ IP เดิม