Как посчитать краулинговый бюджет и понять, есть ли препятствия...

Как посчитать краулинговый бюджет и понять, есть ли препятствия к попаданию в выдачу

Краулингового бюджета не хватает в нескольких случаях:

1. Если на сайте есть технические ошибки – их обязательно следует исправить, чтобы увеличить бюджет сканирования;

2. Если робот тратит объем сканирования на ненужные разделы, а важные пропускает. Важная страница останется без сканирования и не попадет даже на сотую позицию выдачи;

3. Если на сайте [имеется] заброшенный и нерелевантный контент. Из-за того, что сайт не обновляет информацию, боты будут реже его посещать, и краулинговый бюджет [может] снизится.

Как определить уровень краулингового бюджета?

Шаг 1. Определите количество страниц, которое должно быть в индексе

Это можно сделать с помощью краулинга. Здесь поможет жаба или паук от нетпика.

Шаг 2. Определите количество обращений робота к сайту

1-й способ – определить количество просканированных ботами страниц можно с помощью Google Search Console и Яндекс.Вебмастер. В Google Search Console вы сможете узнать информацию за период 90 дней, в то время как в Яндексе можно выбрать любой период.

2-й способ – при помощи анализа логов сервера для точного расчета бюджета.

📌 Анализ логов позволяет не только рассчитать точный краулинговый бюджет, но и посмотреть более глубокие данные: по одному пути ходят боты или по разным, когда на какую страницу зашел бот, как глубоко прошел, сколько раз обращался к одной и той же странице.

📊 Для анализа логов рекомендуются программы Screaming Frog Log Analyzer, LogViewer, Loggly. В программе Screaming Frog Log Analyzer удобно отображаются графики с количеством обращений самых разных роботов.

Шаг 3. Подставьте данные в формулу и определите бюджет

Формулы на скринах.

Подробнее с примерами читайте в статье. Это замечательное руководство от SEO-аналитика KINETICA, Екатерины Леневой.

✅ @seospecialist

Источник новости https://t.me/seospecialist/235...