Недавно столкнулась с такой проблемой: на сайте резко упала...

❓Вопрос 4748

Недавно столкнулась с такой проблемой: на сайте резко упала скорость загрузки на многих страницах, сразу же подумала, что что-то с сервером. Написала в тех.поддержку хостера, они ответили так:

«Анализ логов за указанный период показал множественные обращения к сайту со стороны поисковых ботов google. В данном случае рекомендуется обратиться к разработчику по вопросу тонкой настройки файла robots.txt (необходимо ограничить количество обращений в единицу времени)».

Есть ли смысл выполнять данную рекомендацию, поскольку раньше сервер выдерживал большое количество обращений ботов?

❗️Ответ

Рекомендации вашего хостинга могут быть не совсем корректными. Если ранее сервер справлялся с нагрузкой от поисковых ботов, а сейчас возникли проблемы со скоростью загрузки, то, конечно, есть вероятность, количество запросов со стороны разных ботов значительно увеличилось. Это может быть связано с различными факторами:

🔸 Google может более активно индексировать ваш сайт из-за обновлений алгоритмов или повышения вашей релевантности по определенным запросам.

🔸 Возможно, на сайте появились ошибки или неэффективные элементы, которые увеличивают время обработки каждого запроса.

🔸 Временное увеличение нагрузки на сервер из-за других сайтов, размещенных на том же хостинге.

👉 В первую очередь необходимо докопаться до реальных причин снижения скорости загрузки страниц сайта.

1️⃣ Тщательно изучите логи сайта, убедитесь, что проблема действительно в поисковых ботах Google, а не во внешней атаке на ваш сервер. Иногда такой ерундой занимаются конкуренты, чтобы сделать сайт временно недоступным.

2️⃣ Проведите анализ скорости загрузки проблемных страниц вашего сайта, изучите GSC, откройте страницы с помощью инструментов для разработчика и посмотрите, что именно больше всего грузит вашу страницу. Альтернативно можно воспользоваться инструментом PageSpeed.

При этом, по нашему опыту директива Crawl-Delay в файле robots.txt очень часто игнорируется ботами Google, а потому вряд ли поможет. А выяснив реальные причины, вы сможете предпринять адекватные меры реагирования:

✅ Защитится от атак ботов можно, например, с помощью Cloudflare.

✅ Улучшить скорость загрузки на самих страницах сайта можно с помощью оптимизации отдельных элементов, которые имеют наибольшие проблемы (оптимизация изображений, использование Lazy Load, оптимизация скриптов и стилей, использование кєширования и т.п.).

✅ Возможно, стоит подключить CDN (Content Delivery Network) для распределения нагрузки на несколько серверов.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...