Объясните, пожалуйста, почему в статистике обхода Вебмастера...

❓Вопрос 2248

Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404, при этом ссылок на них на сайте нет.

И второй вопрос: правильно я понимаю, что сначала робот обходит страницы и мы видим это в отчете "Статистика обход", а затем определяет что с ними делать — добавить в индекс или исключить и мы видим это в отчете "Страницы в поиске"?

❗️Ответ

💡Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.

Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.

Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.

👉 Процесс индексации вы понимаете не совсем верно:

В отчет "Статистика обхода" будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html

А в отчете "Страницы в поиске" находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html

Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...