Дэниел Вайсберг про краулинговый бюджет и отчет по статистике...

Дэниел Вайсберг про краулинговый бюджет и отчет по статистике сканирования в Search Console.

Дэниел Вайсберг из Google выпустил видео о краулинговом бюджете, который так любят SEO-специалисты, скорости сканирования и сделал краткий обзор отчета "Статистика сканирования".

Видео содержит практические рекомендации по работе с отчетом и несколько интересных нюансов, которые стоит знать каждому SEO-специалисту.

Основные тезисы:

1️⃣ Роботам Google, во время процесса сканирования, нужно сделать важное решение, когда и какие страницы сканировать, а также быть уверенным в том, что сайт выдержит нагрузку ботов.

Если сайт медленный и есть ошибки сервера – скорость сканирования сайта уменьшиться. В редких случаях, когда GoogleBot перегружает сервер сайта – можно поставить лимит в Search Console.

2️⃣ Когда на сайте несколько тысяч страниц можно не беспокоиться о краулинговом бюджете.

3️⃣ Crawl Rate(Скорость сканирования) – максимальное количество одновременных подключений, которые робот может использовать для сканирования сайта. Это число периодически рассчитывается Google. Если сервер и сайт справятся с этим, Google сможет сканировать быстрее. 

4️⃣ Crawl Demand – это то, какая часть контента требуется Google, и на него влияют URL-адреса, которые Google не сканировал раньше, и оценка Google того, как часто контент обновляется на известных URL-адресах.

5️⃣ Crawl Budget(Краулинговый бюджет) – количество страниц, которые Google хочет и может просканировать каждый день. Рассчитывается, исходя из скорости сканирования и потребности в сканировании. 

6️⃣ Если фотографии размещены на CDN – статистики по сканированию фото не будет в отчете.

7️⃣ Нужно следить за показателем "Среднее время ответа сервера". Если улучшить эту метрику – постепенно увеличиться и скорость сканирования сайта.

8️⃣ Файл Robots.txt должен отдавать код 200 либо 404. Если /robots.txt отдает ошибку со стороны сервера, например 503 – GoogleBot перестанет сканировать сайт.

Источник новости https://t.me/inseo_inweb/54...