Работаем с очень крупным проектом и столкнулись с проблемой...

❓Вопрос 4679

Работаем с очень крупным проектом и столкнулись с проблемой медленного обхода и индексации страниц. Подскажите, от чего зависит краулинговый бюджет сайта?

❗️Ответ

Если свести все тонкости до краткой формулировки, то краулинговый бюджет зависит от траста сайта. От количества обратных ссылок на сайт, от количества доменов доноров и их авторитетности, от трафика на сайте, внутренней перелинковки и вовлеченности посетителей.

Такая проблема наблюдается у многих крупных сайтов, чаще всего интернет магазинов или информационных сайтов.

Вам нужно обратить внимание на то, как именно индексируются новые страницы и обходятся старые. Если новая страница индексируется за 1-3 дня, то это не критично для большинства тематик (кроме информационных новостников). Если на индексацию уходит 3 дня и более – это уже проблема. Обратите внимание на контент страницы, которую вы пытаетесь проиндексировать, возможно, поисковая система считает её низкокачественной (например, смысловые или технические дубли) и поэтому не хочет индексировать.

💡 Также вам нужно проверить:

✅ добавляются ли новые страницы в карту сайта;

✅ есть ли ссылки на новые страницы на существующих страницах и как часто робот посещает эти страницы;

✅ не препятствует ли индексации файл robots, Canonical или тег noindex на странице;

Старые (уже известные роботу) страницы могут обходиться достаточно долго и это нормально, если на ней давно не менялся контент и при этом страница нормально ранжируется в выдаче. Для ускорения обычно отправляют страницы на переиндексацию в ручном режиме. Также нужно убедиться в том, что у страницы меняется дата последней модификации документа, иначе поисковая система попросту не узнает, что страница была обновлена.

👉 Если вы прошлись по всем пунктам, описанным выше и все равно поисковик не хочет быстро индексировать ваш сайт – повышайте авторитетность ресурса и качайте его ссылками с хороших доноров (в том числе и с главных страниц). Следите за ранжированием, ведь основная цель – это попасть в выдачу, а не просто в индекс.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...