Оптимизация краулингового бюджета для издателей новостей

Оптимизация краулингового бюджета для издателей новостей

Выдержки из поста Бэрри Адамса.

Когда следует беспокоиться о краулинговом бюджете?

Большинству веб-сайтов не нужно. Если на вашем сайте менее 100 000 URL'ов, маловероятно, что у вас возникнут проблемы со сканированием. Если на вашем веб-сайте более миллиона URL'ов, вам определенно следует регулярно проверять свой краулинговый бюджет, чтобы убедиться в отсутствии каких-либо серьезных проблем со сканированием.

Время ответа сервера

Существует сильная обратная корреляция между временем отклика сервера и кол-вом запросов при сканирование: если время отклика увеличивается, количество запросов на сканирование уменьшается. Googlebot проводит на вашем сайте определенное время. Чем дольше веб-сайт отвечает, тем меньше страниц будет просканировано.

Время отклика можно улучшить за счет агрессивного кэширования на стороне сервера и увеличения ресурсов серверного хостинга, а также эффективного использования CDN.

Идеал - 200 мс или быстрее, но этого очень трудно достичь для большинства веб-сайтов. На мой взгляд, вы должны стремиться к времени отклика 600 мс или быстрее. Все, что медленнее 600 мс - слишком медленно и требует внимания.

Коды ответов

Если в отчете «Статистика сканирования» в GSC вашего сайта показан большой процент ответов не 200 ОК, особенно перенаправлений 301/302 и ошибок сервера 5XX, это может указывать на то, что на вашем веб-сайте есть проблемы с оптимизацией сканирования, которые необходимо решить.

Что насчет XML сайтмапов?

Хотя XML карты сайта очень полезны, и я всегда рекомендую их иметь, я не верю, что они являются основным механизмом Google для поиска нового контента. Google будет регулярно проверять ваши сайтмапы, особенно новостной, но сканирование сайта — это основной метод, который Google использует для поиска новых статей. XML сайтмапы не заменят эффективно сканируемый веб-сайт.

Про robots.txt

Новая запрещающая директива в файле Robots.txt не означает, что краулинговый бюджет будет направлен в другие области вашего веб-сайта. Google опубликовал подробное руководство по управлению краулинговым бюджетом, в котором говорится, что когда вы запрещаете раздел своего сайта, краулинговый бюджет, связанный с этим разделом, тратится впустую — он фактически испаряется:

«Не используйте файл robots.txt, чтобы временно увеличить лимит на сканирование для других страниц. Указывайте в этом файле только те страницы и ресурсы, которые не нужно сканировать. Google не будет перераспределять лимит на сканирование в пользу других страниц, если только ваши серверные мощности не окажутся почти исчерпанными».

После того, как вы добавили новое правило запрета в robots.txt, Google может потребоваться недели или месяцы, чтобы повторно изучить доступные для сканирования URL'ы вашего веб-сайта и переключить усилия на страницы, к которым ему разрешен доступ.

Источник новости https://t.me/notjohnmu/292...