Как правильно считать краулинговый бюджет
Как правильно считать краулинговый бюджет
Напоминание: Googlebot выполняет JS на страницах.
Что это значит?
1) Googlebot может выполнять коды счетчиков, если они не заблокированы в файле robots.txt.
2) В этом примере сайт имеет довольно большой краулинговый бюджет, около 500 млн запросов Googlebot'а в месяц.
Но присмотревшись, мы обнаружили, что более половины из них — это запросы кода отслеживания — 259 млн запросов!
3) Краулинговый бюджет — это количество запросов на сканирование определенного количества страниц на сайте.
Современные JS-страницы имеют возможность делать дополнительные запросы через JS-код(AJAX). Однако эти запросы не следует рассматривать как часть краулингового бюджета.
4) Крайне важно погрузиться в данные на уровне URL, чтобы убедиться, что вы анализируете запросы Googlebot'а на получение контента страниц, а не служебных кодов отслеживания.
5) Таким образом, вместо 481 млн посещений реальный краулинговый бюджет составляет около 222 млн - в 2 раза меньше.
via Serge Bezborodov
Ссылки из поста:– https://twitter.com/sergebezborodov/status/1663569...
Источник новости https://t.me/notjohnmu/375...