Я отдал 404-й код для ~22к урлов на своем сайте, чтобы...

Я отдал 404-й код для ~22к урлов на своем сайте, чтобы посмотреть, сколько времени понадобится Гуглу, чтобы перестать их краулить, и похоже, что Гугл краулит их еще активнее, отмечает Винисиус Станула.

Я взял фиксированную группу из ~22 000 этих страниц, все мертвы с одной и той же недели в июне, и просто наблюдал, как часто гуглобот заходил на них в течение следующего месяца.

Я знаю, что в документации Гугла сказано, что выпадение 404-й страницы из индекса может занять месяцы.

Но краулить их активнее после 404-й?

Это для меня что-то новое.

Инсайты комьюнити

— Полевой кейс по очистке взломанного сайта: возврат кода 410 на тысячах спамных урлов все равно потребовал от Гугла нескольких месяцев, чтобы остановить краулинг и деиндексировать всё — одна лишь смена статус-кода не ускоряет удаление.

— Утверждения практиков о разнице обработки 404 и 410 расходятся: одни считают, что код 410 (окончательно удалено) заставляет Гугл быстрее прекратить краулинг, чем 404; другие возражают, что Гугл обычно обрабатывает 404 и 410 одинаково, потому что большинство владельцев сайтов не знают разницы между этими кодами — различие становится очевидным только через конкретные API, такие как jobs API.

— Гипотеза: всплеск краулинга 404-х может отражать то, что Гугл ищет дополнительные доступные для сканирования ресурсы и хочет чаще краулить сайт, а не сигнализирует о проблеме.

— Гипотеза: всплеск краулинга после отдачи 404-го кода может указывать на то, что Гугл перепроверяет статус контента страницы, особенно когда мертвые урлы ранее имели сильные бэклинки.

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO