Сайт может столкнуться с катастрофической деиндексацией, вплоть...

Сайт может столкнуться с катастрофической деиндексацией, вплоть до одной проиндексированной страницы, из-за незначительной ошибки в файле robots.txt.

Это может произойти даже при качественном контенте и рабочих картах сайта, что показывает, как мелкая ошибка в конфигурации приводит к серьезным последствиям.

Проблема началась, когда сайт, который хорошо реагировал на улучшение контента, начал систематически выпадать из индекса.

Google удалял страницы пачками, пока не осталась только главная.

Улучшение контента страниц привело к кратковременному восстановлению до 32 проиндексированных страниц, но затем они снова были деиндексированы.

Это указывало на техническую проблему, а не на проблему с контентом.

Ключевая зацепка обнаружилась в GSC.

Проверка деиндексированных URL показывала сообщение "Google вообще не знает об этом URL" и отмечала, что карты сайта не найдены.

Это озадачивало, поскольку сайтмапы сайта были рабочими и отправленными в консоль.

GSC показал, что они не считывались месяцами, хотя логи сервера подтверждали заходы краулера.

Это несоответствие указывало на файл robots.txt.

Считается хорошей практикой указывать в robots.txt все отдельные карты сайта (для страниц, постов, видео), а не только основной индексный файл сайтмапа, так как это стимулирует более быстрый обход.

При проверке в файле robots.txt была обнаружена фатальная ошибка: он ссылался на две несуществующие карты сайта (для новостей и продуктов), которые отдавали 404-ю ошибку.

Это была ошибка конфигурации из-за неправильной работы оператора с плагином-генератором.

Решением стало редактирование файла robots.txt: замена двух URL-адресов сайтмапов, отдававших 404, на правильные и повторная отправка файла в Google через GSC (Настройки > Сканирование > "Запросить переобход").

Результаты были мгновенными.

Логи сервера показали огромный всплеск активности Googlebot в течение нескольких часов.

За три дня количество проиндексированных страниц на сайте выросло с одной до 57, а сам сайт стал находиться по тестовым ключевым словам уже через 24 часа.

Этот опыт показывает, что лучше не иметь вообще никакой карты сайта в robots.txt, чем иметь неправильную, которая отдает 404-ю ошибку.

URL карты сайта с 404-й ошибкой в этом критически важном файле — это потенциальный билет в один конец к смерти индексации.

Всегда вручную проверяйте то, что генерируют плагины, так как простая ошибка в конфигурации robots.txt может свести на нет все SEO-усилия.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5429...