Подскажите, пожалуйста, есть ли какой-то метод вынудить google...

❓Вопрос 3706

Подскажите, пожалуйста, есть ли какой-то метод вынудить google бота cканировать медленнее? Сrawl-rate в консоли я поставил маленький совсем, в robots лишнее закрыто. Бот все равно краулит в 10 раз интенсивнее, чем обычно. Сервер не выдерживает, перегревается, часто 503 кидать начинает. И еще сразу же вопрос: могут ли возникнуть проблемы при переносе сайта с одного сервера на другой? Как их избежать?

❗️Ответ

Если вы уже установили crawl-rate в Google Search Console на минимальное значение, и Google всё равно слишком активно сканирует ваш сайт, стоит убедиться, что это делают действительно google-боты. Выгрузите логи сайта и пересмотрите user-agent во время пиковой нагрузки сервера.

Кроме того, убедитесь, что ваш сервер действительно хорошо оптимизирован. Используйте кеширование, оптимизируйте базу данных, уменьшите размер страниц и статические ресурсы, где это возможно.

Есть также рискованный метод, который рекомендует Справка Google для уменьшения частоты сканирование на короткий промежуток времени. Показывайте вместо контента страницу с кодом статуса HTTP 500, 503. Справка утверждает, что в таком случае робот Googlebot будет сканировать ваш ресурс реже.

⚠️ Учтите, что данный способ может значительно повлиять на ранжирование сайта в негативную сторону.

Помните, если у вас будет грамотная и простая структура, если ваши страницы будут загружаться и отрисовываться быстрее, Google сможет просканировать быстрее контент на вашем сайте, что также косвенно может помочь решить вашу проблему.

Что касается переноса сайта с одного сервера на другой, то тут обычно проблем возникать не должно. С каждым хостингом могут быть индивидуальные нюансы, но можем дать общие рекомендации:

▫️ Прежде всего, создайте резервные копии всех файлов и базы данных вашего сайта.

▫️ Перед тем как перенести сайт полностью, настройте его на новом сервере и проведите тестирование. Убедитесь, что все работает корректно.

▫️ После того как вы убедились, что ваш сайт работает на новом сервере, обновите записи DNS.

▫️ Убедитесь, что SSL-сертификат корректно установлен на новом сервере.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...