مسدود شدن بدشانسی نیست — یک سیگنال است. سیستمهای ضدربات هر درخواست را بر اساس اعتبار آیپی، نرخ درخواست، هدرها و رفتار امتیازدهی میکنند. سیگنالهایی را که شما را لو میدهند برطرف کنید، نرخ مسدودسازی بهشدت کاهش مییابد. این چکلیست عملی، تقریباً به ترتیب میزان تأثیر، در ادامه آمده است.
بزرگترین سیگنال منفرد، ASN آیپی شماست. بازههای دیتاسنتر در لیست سیاه هر سیستم ضدربات هستند؛ آیپیهای خانگی از ISPهای واقعی اعتبار یک کاربر معمولی را دارند. اگر سایتی فارغ از دقتی که در محدودسازی نرخ به خرج میدهید فوراً شما را مسدود میکند، مشکل نوع آیپی است — به خانگی سوییچ کنید.
هزاران درخواست از یک آیپی، واضحترین نشانه ربات است. برای خزشهای گسترده در هر درخواست به یک آیپی تازه چرخش کنید، یا برای روندهایی که به تداوم نیاز دارند (ورود، سبد خرید، صفحهبندی) یک آیپی ثابت (sticky) نگه دارید. در Roam هر دو حالت را از طریق نام کاربری کنترل میکنید: یک -session-<id> تصادفی چرخش میکند، یک مقدار ثابت پایدار میماند.
انسانها مثل مترونوم 20 درخواست در ثانیه شلیک نمیکنند. تأخیر اضافه کنید، آن را تصادفی کنید و همزمانی برای هر هدف را محدود کنید. به robots.txt و هر محدودیت نرخ منتشرشده احترام بگذارید — هم برای مؤدب بودن و هم برای مسدود نشدن.
User-Agent پیشفرض یک کتابخانه فریاد میزند «من ربات هستم». یک User-Agent واقعی مرورگر، مجموعهای ثابت از هدرهای Accept/Accept-Language ارسال کنید و آنها را با کشور آیپی هماهنگ نگه دارید. یک آیپی ژاپنی را با مجموعه هدر فقطانگلیسی جفت نکنید.
برخی اهداف به مرورگر واقعی (Playwright، Puppeteer) نیاز دارند تا JS را رندر کند و از بررسی اثر انگشت عبور کند. مرورگر هدلس یا ضدشناسایی را با پروکسی خانگی جفت کنید و به هر پروفایل مرورگر یک آیپی ثابت اختصاصی بدهید تا آیپی و اثر انگشت هماهنگ بمانند.
زمانبندی فقط یکی از سیگنالهاست. اگر آیپی شما از بازه دیتاسنتر باشد، هیچ میزان محدودسازی نرخ کمکی نمیکند — مسدودسازی در لایه شبکه و پیش از آنکه رفتار اهمیت پیدا کند رخ میدهد. ابتدا به آیپی خانگی سوییچ کنید، سپس زمانبندی را تنظیم کنید.
با پروکسیهای خانگی با صورتحساب بر اساس گیگابایت، نیازی به شمردن تعداد پروکسی نیست — چرخش در یک استخر بزرگ بهصورت خودکار انجام میشود. در عوض روی نرخ درخواست برای هر هدف تمرکز کنید. یک نقطه اتصال خانگی چرخشی، هر بار که توکن نشست را عوض کنید، یک آیپی تازه به شما میدهد.
استفاده از پروکسی قانونی است. قانونی بودن به این بستگی دارد که چه چیزی و چگونه اسکرپ میکنید: به دادههای عمومی پایبند باشید، شرایط هر سایت را رعایت کنید، از دادههای شخصی پرهیز کنید و نرخ درخواست را معقول نگه دارید.
در چند ثانیه ثبتنام کنید، اهداف خود را روی آیپیهای خانگی واقعی تست کنید و فقط بابت مصرف واقعی پرداخت کنید. $2 هر گیگابایت، موجودی همیشه معتبر.