SEOFAQ Telegram, маркетинг и SEO Канал SEOFAQT в мессенджере Telegram

Все чаты🔥 О краулинговом бюджете в Google: 10+ важных вопросов и ответов


🔥 О краулинговом бюджете в Google: 10+ важных вопросов и ответов

Алексис Сандерс из Merkle и Мартин Сплитт из Google разобрали) частые вопросы о краулинговом бюджете.

Собрал основные тезисы в этом посте.

Что такое краулинговый бюджет?

Бюджет - это количество запросов, которые робот Googlebot может сделать одновременно, не перегружая сервер. Другими словами, сколько страниц робот может обойти.

Чтобы понимать важность, простое объяснение: на сайте N число страниц, а робот обходит M страниц. Где M ниже N, следовательно, робот не доходит до части страниц.

Что такое спрос на сканирование?

Как часто Гугл хочет сканировать ваш сайт, что зависит от тематики и сайта.

Например, сайт с экстренными новостями, вероятно, будет иметь более высокий спрос на сканирование по сравнению с сайтом с рецептами.

Как робот Googlebot принимает решения о скорости сканирования и о спросе?

Google определяет, как часто сканировать страницу, исходя из того, как часто меняется контент. Если частота изменений низкая, сайт будет сканироваться не так часто, как другие.

Как робот определяет дату последнего изменения?

Google использует ETags, заголовки HTTP и даты последнего изменения, чтобы определить, как часто следует сканировать контент.

ETag - это кеширующий заголовок, который содержит отпечаток содержимого для обнаружения изменений во времени.

Какой размер сайтов должен беспокоить бюджет сканирования? (4:35)

Это в первую очередь касается крупных сайтов с миллионами страниц. Если на вашем сайте менее миллиона страниц, вам не нужно беспокоиться о бюджете сканирования.

Добавлю: хотя на практике, с проблемами сканирования могут столкнутся сайты и поменьше.

Влияет ли качество контента на сканирование?

Контент более высокого качества не сканируется чаще, а низкого реже.

Влияет ли бюджет сканирования на рендеринг?

Да, бюджет сканирования влияет на рендеринг. Когда робот Googlebot отображает контент, он получает дополнительные ресурсы, которые поступают из бюджета сканирования сайта.

Что такое рендеринг тут :)

Кэширование ресурсов и бюджет сканирования

Google кэширует ресурсы настолько агрессивно, насколько это возможно, чтобы избежать необходимости их повторного сканирования каждый раз.

Что можно порекомендовать роботу Google при сканировании своего сайта?

Splitt рекомендует блокировать обход ресурсов, которые не нужно сканировать. Это поможет роботу Googlebot сканировать более эффективно.

С какими проблемами сталкиваются SEO c бюджетом сканирования? (16:52)

Владельцы сайтов часто сталкиваются с проблемой блокирования ресурсов в файле robots.txt, которые действительно нужны Googlebot.

Например, некоторые сайты блокируют просмотр своего CSS-файла, который нужен роботу Googlebot для отображения контента в том виде, в котором посетители видят его в веб-браузере.

Можно ли сказать роботу Google, чтобы он сканировал свой сайт больше?

Нет, этого нельзя сделать. Владельцы сайтов могут ограничивать частоту сканирования роботом Googlebot, но нет способа инициировать его сканирование чаще.

📌Как быть:

Блокируйте в robots.txt все, что робот не должен сканировать. Не путайте с закрытием от индексации через мета роботс (закрытие от индексирования страницы, не от сканирования).

Источник новости https://t.me/seomnenie/53...


Похожие вопросыПохожие вопросы