Недавно мы столкнулись с SEO-проблемой, которую команда клиента...

Недавно мы столкнулись с SEO-проблемой, которую команда клиента приняла за проблему с краулинговым бюджетом, пишет Джон Феган.

Это была не она.

Инженеры одного ритейлера закрутили гайки в правилах Cloudflare/WAF после всплеска парсинга.

С точки зрения SEO всё выглядело нормально:

— Robots.txt разрешал доступ Googlebot

— сайтмапы были валидны

— страницы были открыты для индексации

— Chrome отдавал статус 200

— в CMS ничего не менялось

Но затем новые страницы товаров стали дольше появляться в Google.

В GSC стало больше URL со статусом "Обнаружено, не проиндексировано", активность сканирования стала хаотичной, а некоторые URL из сайтмапов перестали переобкачиваться.

На первый взгляд это выглядело как проблема краулингового бюджета или индексации.

Это была не она.

WAF периодически отдавал краулерам 403 и 429 ответы — в том числе верифицированному Googlebot.

Поэтому, пока заявленная политика гласила: robots.txt → Googlebot разрешен

фактическая политика выглядела так: Googlebot → CDN → WAF → 403/429

Googlebot блокировался еще до того, как robots.txt имел хоть какое-то значение.

Вот важное различие:

Заявленная политика краулера = то, что должно происходить согласно вашей SEO-настройке.

Фактическая политика краулера = то, что реально пропускает ваша инфраструктура.

И если вы не мониторите индексацию, доступность для краулеров и логи сервера, подобные проблемы могут висеть в слепой зоне неделями.

Симптомы проявляются в SEO.

Корень проблемы может лежать совершенно в другом месте.

Если бы у вас стояли алерты по логам, вы бы это поймали.

Если бы стоял мониторинг WAF, вы бы это поймали.

Если бы стоял мониторинг индекса, вы бы это поймали.

Большинство компаний этого не делают.

Инсайты комьюнити

— Правила WAF могут триггериться на паттерны хедеров или диапазоны IP, специфичные для юзер-агента Googlebot, даже когда остальной трафик проходит чисто. Если лимиты запросов привязаны к CIDR-блоку, а не к индивидуальным IP верифицированного краулера, легитимные запросы Googlebot сливаются в общую корзину — WAF видит перегруз от "сети" и выдает случайные 429, хотя каждый отдельный запрос абсолютно чист.

— CDN, отдающий страницу с капчей любому запросу без нормального отпечатка браузера, может втихую блочить краулеров, пока сайт визуально работает для любого живого юзера — в Search Console этот сбой выглядит как медленная капель софт 404, которую легко упустить, так как внутри ничего не сломано. Проблема вскрывается только при парсинге под видом Googlebot извне корпоративной сети.

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO