nitz столкнулся с тем, что после деплоя количество запросов на...

nitz столкнулся с тем, что после деплоя количество запросов на обход от Гуглобота за ночь упало на 90%.

Причиной стало добавление в HTTP-заголовки Link: неработающих URL с хрефленгами, что вызвало большое количество ошибок 404. Хотя проиндексированные страницы стабильны, объем обхода не восстановился.

Автор также спрашивает, как безопаснее всего намеренно снизить скорость сканирования Гуглоботом.

Комментарии сеошников

— Резкое и сильное (~90%) падение скорости обхода Гуглоботом — нетипичная реакция на ошибки 404, так как системы Google рассчитаны на их обработку.

Такой агрессивный троттлинг характерен для проблем на уровне сервера, которые сигнализируют о нестабильности хоста — например, коды ответа 429, 500, 503 или тайм-ауты соединения.

— При диагностике резкого падения краулинга из-за 404-х ошибок, первопричина может крыться в промежуточной системе (например, CDN), которая начала блокировать Гуглобота в ответ на всплеск ошибок.

Полноценная диагностика должна включать проверку на наличие более серьезных серверных ошибок и блокировок доступа.

— Восстановление скорости обхода — это автоматический процесс, который запускается после решения проблем со стабильностью сервера; ручных способов его ускорить нет.

Логика системы намеренно асимметрична: она агрессивно и быстро снижает скорость обхода для защиты хоста, но повышает ее снова лишь очень осторожно.

Это означает, что возвращение к прежним показателям будет постепенным, а не мгновенным.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5683...