Медленный краулинг Screaming Frog снимает блокировки Cloudflare...

Медленный краулинг Screaming Frog снимает блокировки Cloudflare — подмена на Googlebot делает только хуже

Если Screaming Frog отдаёт статус "too many requests" после первых ~50 URLs на мелком сайте (до 500 URL) на WordPress за Cloudflare (хостинг Cloudways) — это сработал лимит запросов, а не проблема SEO.

Здоровая статистика краулинга в GSC подтверждает: блокировка идёт от защиты от ботов на стороне клиента.

Снижение скорости краулинга в самом Screaming Frog до минимума реально снимает этот блок.

Смена User-Agent краулера на Googlebot делает блокировку жёстче, а не мягче.

Cloudflare сверяет IP запроса с официальными пулами Googlebot, а не просто смотрит на строку UA.

Поэтому UA Googlebot с IP Screaming Frog читается как самозванец и отлетает в блок моментально.

Надёжное решение — вайтлист на стороне клиента: пусть добавят краулер в белые списки Cloudflare, связав IP и UA, потому что правила только по IP работают криво.

Полностью скипай правила по IP, если у машины для краулинга нет статического адреса — кастомный UA или bearer-токен держатся лучше при ротации адресов.

Для анализа логов прогоняй логи сервера через Log File Analyser в Screaming Frog — он вообще не касается Cloudflare.

И если твой краулер заблочен, это не значит, что заблочен Googlebot.

Пока логи и GSC не показывают проблем — это просто система управления ботами Cloudflare, а не ошибки сканирования сайта.

Инсайты комьюнити

— Чтобы подтвердить, что причина именно в управлении ботами Cloudflare, настрой Screaming Frog на сбор заголовков ответа и ищи там заголовок bot score — его наличие показывает, что скоринг ботов Cloudflare активен, хотя это фича enterprise-уровня.

— Обойти Cloudflare на объёме через curl-cffi или obscura больше не работает. Чтобы парсить сайты под защитой CF, которые активно блочат, теперь нужно управлять реальным профилем браузера. Screaming Frog не заточен под обход сайтов, которые не хотят, чтобы их парсили, поэтому меняй инструмент, если добавить в вайтлист не вариант.

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO