SEOFAQ Telegram, маркетинг и SEO Канал SEOFAQT в мессенджере Telegram

Все чаты⭐️ На сайте есть страница, но краулер ее не находит. Где искать...


⭐️ На сайте есть страница, но краулер ее не находит. Где искать проблему?

Например, URL есть в CMS и sitemap, страница открывается, но при обходе сайта от главной ее нет в результатах.

Возможно, это страница-сирота — URL, на который нет внутренних ссылок. Такое бывает после переноса раздела, изменения меню или удаления ссылки со страницы.

❌ Почему это проблема: пользователь и краулер не могут попасть на страницу по структуре сайта. При этом сам URL продолжает существовать.

Как быстро проверить:

1️⃣ Возьмите список URL из CMS, sitemap и других источников.

2️⃣ Запустите отдельный обход от главной только по внутренним ссылкам. Не добавляйте sitemap и файлы со списками URL.

3️⃣ Сравните списки URL. Найдите адреса, которые есть в CMS или sitemap, но отсутствуют в отчете обхода по внутренним ссылкам. Это кандидаты в страницы-сироты. Откройте их и проверьте, существуют ли страницы, нужны ли они сайту и действительно ли на них нет внутренних ссылок.

4️⃣ Если страница нужна, поставьте на нее ссылку с релевантной страницы, до которой можно добраться от главной. Затем повторите обход. Краулер должен найти URL уже через внутреннюю структуру.

⚠️ Не удаляйте страницу из sitemap только потому, что ее не нашел краулер. Здесь мы проверяем другое: может ли краулер добраться до нее по внутренним ссылкам.

А если хотите разобраться глубже — обратитесь к подробной статье про страницы-сироты 🔗 https://pr-cy.ru/news/p/10757-orphan-pages

_____

@prcynews — подписывайтесь, чтобы узнавать новое о SEO, ИИ и продвижении сайтов.

Источник новости https://t.me/prcynews/8051...