О скорости сканирования. Забытые инструменты

О скорости сканирования. Забытые инструменты

#junior #crawl @productseo

Заметил то, что давно никто не говорил об инструменте Crawl Rate Settings page из старой Google Search Console и его аналога “скорости обхода” в Яндексе. Возможно тема holywar`ная, а потому сразу скажу, что по моим !!!личным!!! тестам - работает, но не совпадение ли это и можно ли масштабировать и подойдет ли всем - нужно тестировать больше, чем не нескольких проектах.

У поисковых систем есть инструмент, который позволяет ограничивать заходы поисковых роботов, если они начали нагружать сервера. Например, в Google вы можете найти этот инструмент в старой Search Console тут (ссылка). Зачастую в выборе настройки стоит Частота сканирования: “На усмотрение Google (рекомендовано)”, но можно выбрать “Ограничить максимальную скорость сканирования Google” и ползунком выбрать значение. Эти значения Google подбирает под каждый сайт отдельно. По моей выборке сайтов может быть как от 0.008 запросов в секунду, так и до нескольких десятков.

Недавно был случай, когда на одном из клиентских проектов сделали глобальные изменения на сайте, а Google просто снизил краулинговый бюджет к минимуму и не втягивал их. Выкрутил значение на максимум и поисковый робот ожил. Проверил несколько раз с другими проектами - после изменений значения ползунка поисковый робот реагирует. Не смотря на то, что в справке есть фраза “You cannot increase the crawl rate.” (ссылка) при большом спаде заходов бота можно его “попросить” зайти больше. Скорее всего в данной фразе шла речь именно об “увеличить до определенного числа”. Думаю, что можно использовать инструмент в случаях проблем с хостингом, когда Google увидел много ошибок и решил не напрягать сайт сократив кол-во заходов (можно посмотреть в реально времени по логах или с опозданием в Search Console в отчете https: //search.google. com/search-console/settings/crawl-stats?resource_id= ) .

Аналогичный инструмент есть и в Яндексе, но там они прям пишут о том, что можно ускорять (ссылка). Кстати, когда-то сотрудник выставил там значение 600 запросов в сек. и Яндекс послушно напряг всю нашу систему. Мы не упали ибо у нас много ресурсов, но деньги на кластера начали резко сжигаться 🙂

P.S. Следующий пост в субботу 20.02

Источник новости https://t.me/productseo/40...