Блокировка — это не невезение, а сигнал. Системы защиты от ботов оценивают каждый запрос по репутации IP, частоте запросов, заголовкам и поведению. Исправьте сигналы, которые вас выдают, и частота блокировок резко снизится. Вот практический чек-лист, примерно в порядке значимости.
Самый значимый сигнал — это ASN вашего IP. Серверные диапазоны присутствуют в каждом чёрном списке систем защиты от ботов; резидентные IP от реальных интернет-провайдеров несут репутацию обычного пользователя. Если сайт блокирует вас мгновенно независимо от того, насколько аккуратно вы регулируете частоту запросов, проблема в типе IP — переключитесь на резидентные.
Тысячи запросов с одного IP — самый явный признак бота. Используйте новый IP на каждый запрос для широких обходов или держите sticky-IP для процессов, требующих непрерывности (вход, корзина, пагинация). С Roam вы управляете обоими режимами через имя пользователя: случайный -session-<id> означает ротацию, фиксированный — sticky-режим.
Люди не отправляют 20 запросов в секунду с точностью метронома. Добавляйте задержки, рандомизируйте их и ограничивайте параллелизм на каждую цель. Соблюдайте robots.txt и любые опубликованные лимиты запросов — это и вежливо, и помогает избежать блокировки.
Стандартный User-Agent библиотеки сразу выдаёт бота. Отправляйте реальный User-Agent браузера, согласованный набор заголовков Accept/Accept-Language и следите за их соответствием стране IP. Не сочетайте японский IP с набором заголовков только на английском.
Некоторым целям требуется настоящий браузер (Playwright, Puppeteer), чтобы отрисовать JS и пройти проверку отпечатка. Сочетайте headless- или антидетект-браузер с резидентными прокси и выделяйте каждому профилю браузера собственный sticky-IP, чтобы IP и отпечаток оставались согласованными.
Тайминг — лишь один из сигналов. Если ваш IP из серверного диапазона, никакая регулировка частоты не поможет — блокировка происходит на сетевом уровне ещё до того, как имеет значение поведение. Сначала переключитесь на резидентные IP, затем настраивайте тайминг.
При тарификации резидентных прокси за ГБ вам не нужно считать количество прокси — ротация по большому пулу происходит автоматически. Сосредоточьтесь на частоте запросов к каждой цели. Эндпоинт с ротацией резидентных IP выдаёт новый IP при каждой смене токена сессии.
Использование прокси законно. Законность зависит от того, что и как вы скрапите: придерживайтесь общедоступных данных, соблюдайте условия каждого сайта, избегайте персональных данных и поддерживайте разумную частоту запросов.
Зарегистрируйтесь за секунды, протестируйте свои цели на реальных резидентных IP и платите только за то, что используете. $2/ГБ, баланс без срока действия.