⭐️ На сайте есть страница, но краулер ее не находит. Где искать...
⭐️ На сайте есть страница, но краулер ее не находит. Где искать проблему?
Например, URL есть в CMS и sitemap, страница открывается, но при обходе сайта от главной ее нет в результатах.
Возможно, это страница-сирота — URL, на который нет внутренних ссылок. Такое бывает после переноса раздела, изменения меню или удаления ссылки со страницы.
❌ Почему это проблема: пользователь и краулер не могут попасть на страницу по структуре сайта. При этом сам URL продолжает существовать.
Как быстро проверить:
1️⃣ Возьмите список URL из CMS, sitemap и других источников.
2️⃣ Запустите отдельный обход от главной только по внутренним ссылкам. Не добавляйте sitemap и файлы со списками URL.
3️⃣ Сравните списки URL. Найдите адреса, которые есть в CMS или sitemap, но отсутствуют в отчете обхода по внутренним ссылкам. Это кандидаты в страницы-сироты. Откройте их и проверьте, существуют ли страницы, нужны ли они сайту и действительно ли на них нет внутренних ссылок.
4️⃣ Если страница нужна, поставьте на нее ссылку с релевантной страницы, до которой можно добраться от главной. Затем повторите обход. Краулер должен найти URL уже через внутреннюю структуру.
⚠️ Не удаляйте страницу из sitemap только потому, что ее не нашел краулер. Здесь мы проверяем другое: может ли краулер добраться до нее по внутренним ссылкам.
А если хотите разобраться глубже — обратитесь к подробной статье про страницы-сироты 🔗 https://pr-cy.ru/news/p/10757-orphan-pages
_____
@prcynews — подписывайтесь, чтобы узнавать новое о SEO, ИИ и продвижении сайтов.
Источник новости https://t.me/prcynews/8051...
3 
