Сайт публикует новые статьи, они доступны для индексации...

❓Вопрос 5972

Сайт публикует новые статьи, они доступны для индексации, robots.txt и технические настройки в порядке, но Google перестал индексировать новые страницы. Запрос на индексирование в Search Console тоже выдаёт ошибку. Вопрос: что может вызвать резкую остановку индексации без технических изменений на сайте?

❗️Ответ

Есть несколько возможных распространенных причин того, что Google перестал индексировать новые статьи:

1️⃣ Блокировка со стороны хостинга, CDN или WAF. Ваш хостинг провайдер или сервис защиты (например, Cloudflare) мог обновить свои алгоритмы фильтрации трафика и начал принимать Googlebot за вредоносного бота. Отдает ему ошибку 403 или блокирует соединение на уровне TCP. В GSC это вызывает ошибку сканирования (Server error 5xx), “url недоступен для Google” при попытке ручного индексирования.

2️⃣ Общее качество сайта в глазах Google снизилось. Особенно такое бывает после последних апдейтов, если алгоритмы Google решают, что на сайте много шаблонного или AI контента без реальной ценности для юзера. Часто в таком случае новые страницы попадают в статус “Обнаружена, не проиндексирована”.

3️⃣ Если ваш сайт попал под санкции Google, то в целом сайт перестает и ранжироваться и индексировать новые страницы. В GSC посмотрите раздел “Проблемы с безопасностью” и “Меры, принятые вручную”.

👉 Чтобы узнать более точно конкретную причину, мы рекомендуем проверить логи сервера. Отфильтруйте их по User Agent Googlebot. Посмотрите, какие http статусы отдает сервер реальному боту (200, 403, 500). Если с этим все ок, то проверьте “Статистику сканирования” в GSC. Посмотрите статусы не индексируемых страниц и от этого уже будет понятно, какие необходимо предпринимать действия для решения проблемы.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...