Как исправить ошибку: "Проиндексировано, несмотря на...

❓Вопрос 1693

Как исправить ошибку: "Проиндексировано, несмотря на блокировку в файле robots.txt" в GSC? Из-за чего она возникает? Насколько она критична?

❗️Ответ

👉 Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами.

Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].

⚠️ Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.

👉 Чтобы исправить ошибку, нужно выполнить следующие действия:

▫️Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.

▫️Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt

▫️Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.

▫️Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.

‼️Вы сталкивались с такой ошибкой? Как исправляете её? Делитесь опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...