🥰Google обновил документацию по "бюджету сканирования"

🥰Google обновил документацию по "бюджету сканирования"

По умолчанию Google использует консервативный подход к сканированию, а также учитывает размер и качество сайта при определении потребности в сканировании:

1. Google начинает с консервативного сканирования для каждого сайта. При запуске сканирования нового сайта, Google устанавливает ограничение пропускной способности по умолчанию.

Вывод: все сайты стартуют с одинакового, заведомо низкого лимита сканирования независимо от размера или репутации домена.

2. Google использует несколько переменных для определения того, как скорректировать сканирование. В документе упоминается, как "размер сайта, частота обновлений, качество страниц и релевантность" влияют на частоту сканирования.

3. Пропускная способность распределяется между всеми сканерами. Таким образом, если один сканер (например, Googlebot-Image) забирает на себя большую часть пропускной способности, это фактически УМЕНЬШАЕТ пропускную способность других сканеров.

Вывод: Googlebot, AdsBot и Google Shopping crawler делят общий пул лимита. AdsBot и Shopping-краулер увеличивают нагрузку при динамическом ремаркетинге или активных товарных фидах.

4. Рекомендуется повышать скорость работы сайта для повышения эффективности. Уточнено, кому реально нужно заботиться о crawl budget: сайты 1M+ уникальных страниц с умеренно часто меняющимся контентом, или 10,000+ страниц с очень быстро меняющимся контентом. Более мелкие сайты, якобы, и так эффективно сканируются.

Отсюда такие умозаключения:

➡️Раз пропускная способность сканирования сайта рассматривается как общая и консервативная, то возврат сообщения "Не изменено" (код 304) для страниц, которые не претерпели изменений - это самый дешевый способ предотвратить чрезмерное потребление бюджета на новый контент статическими страницами. Это незаметное нововведение, но на крупном сайте я бы в первую очередь его внедрил.

➡️Консервативный режим по умолчанию объясняет нытье о "песочнице", мол "Сайт запущен три недели назад, а Google проиндексировал лишь несколько страниц". Это не штраф, а начальное выделение ресурсов, и в документации теперь, по сути, говорится, что вы можете компенсировать это за счет качества и частоты обновлений, а не путем повторной отправки карты сайта пять раз.

➡️Примечание о совместном использовании ресурсов - это крайне важный момент. На сайтах с большим количеством изображений (недвижимость, электронная коммерция, портфолио и прочее), Googlebot-Image может незаметно потреблять часть ресурсов, пока все смотрят на статистику сканирования HTML, поэтому стоит разделить отчет о статистике сканирования GSC по типам ботов, прежде чем предполагать, что проблема в сайте.

И для большинства небольших и средних сайтов вывод остается тем же: ограничением является не бюджет сканирования, а самопроизвольное раздувание URL-адресов. Фасетные параметры, архивы календаря и забытые поддомены для тестирования наносят больше вреда, чем любое ограничение ресурсов.

🔔 Узнайте как поддержать развитие канала.

📔 DrMax: Доказательное SEO 2026 + Введение в Промптоведение

📚 25 PRO промптов + Pocketbook DrMax: Промптоведение для SEO-стратегов 2026

❄️Всяческая SEO халява

Источник новости https://t.me/drmaxseo/1632...