Как определяется краулинговый бюджет? Еще из интересного с...

Как определяется краулинговый бюджет?

Еще из интересного с Search Central Live Deep Dive Europe на основе обзора Джона Кэмпбелла.

Черри Проммавин (аналитик качества поиска):

Краулинговый бюджет (crawl budget) Гугла состоит из двух частей: лимита скорости обхода (crawl rate limit) и потребности в сканировании (crawl demand).

Лимит скорости обхода (или нагрузка на хост) является общим для всех сканеров Гугла, сканирующих ваш хост. Таким образом, сканирование рекламы и изображений использует тот же лимит, что и сканирование для поиска.

Этот лимит обусловлен следующими факторами:

- время соединения

- время до первого байта

- коды состояния 429 или 5xx

Если какой-либо из этих показателей увеличится, Гугл замедлит сканирование.

Потребность в сканировании определяется следующими факторами:

- качество сайта

- как часто меняется содержимое урлов

- насколько они популярны в интернете

Когда Гугл не знает про качество или популярность урла, он использует данные родительского пути. Затем уровень выше и так далее.

Источник новости https://t.me/notjohnmu/3042...