Что-то блокировало робота Google - начали выпадать страницы и...

Что-то блокировало робота Google - начали выпадать страницы и падать трафик.

В конце прошлого месяца на одном из сайтов начинает падать трафик в Google. Начинаю “копать”. Нахожу, что в Search Console упал индекс. Повод найден, продолжаю искать причину.

Иду в "Настройки" -> "Статистика сканирования" и вижу:

🔻резкий рост ответа сервера (цифра 1 на скриншотах);

🔻в блоке “Статус хоста” проблемы с доступом к robots.txt и подключению к серверу (до 72-99%).

Получается, что у Google большие проблемы с доступом к сайту. Что-то блокирует ботов.

Связываюсь с клиентом, разработчиком. Значимых причин, которые могли бы повлиять на доступ роботов к сайту, не находим. Предлагаю написать хостеру. Тот отписывается, что на его стороне все ок.

Через пару-тройку дней после обращения к хостеру (совпадение?) нормализуется ответ сервера и статистика сканирования.

Чтобы ускорить возвращение выпавших страниц в индекс, проверяю через SpeedyIndex (осторожно, реф. 😁) все канонические страницы на индекс и туда же отправляю непроиндексированные (около 60% от всего объема сайта) на ускорение индексации. Обычно этого бота я использую для индексации внешних страниц с обратными ссылками. Здесь же решил его попробовать в новом амплуа.

Результат приятно порадовал:

🔹резкий рост запросов на сканирование (цифра 2);

🔹возврат страниц в индекс (цифра 3) + еще немного сверху (Google быстро переобошел страницы и переиндексировал их);

🔹возврат посещаемости (цифра 4). Она постепенно возвращалась сама, но резкий возврат страниц в индекс подтолкнул и ее.

С последствиями справились, но осталась загадкой первопричина проблем со сканированием. Что это было - есть идеи 💡?

Источник новости https://t.me/sosnovskij/290...