В GSC появились ошибки на страницах сайта и надпись...

❓Вопрос 3048

В GSC появились ошибки на страницах сайта и надпись "Проиндексировано, несмотря на блокировку в файле robots.txt"

А в примерах отображаются какие-то странные страницы сайта, которых не должно существовать, с такими окончаниями: /?%2000288

Подскажите как исправить?

❗️Ответ

💡С помощью robots.txt вы можете управлять сканированием своего сайта, а не индексированием. К тому же, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, а не правила.

Ошибка "Проиндексировано, несмотря на блокировку в файле robots.txt" чаще всего возникает из-за того, что на закрытые в файле robots страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего.

👉 И хоть сканирование страниц может быть запрещено, поисковая система все равно добавила в индекс данные url-адреса, посчитав их полезными для пользователя.

⚠️ В вашем случае следует провести технический анализ сайта и проверить:

▫️как и почему генерируются данные страницы;

▫️ведут ли на них внутренние ссылки;

▫️нет ли этих url в карте сайта.

Также стоит проверить нет ли внешних ссылок на эти страницы. Все обнаруженные ссылки на мусорные страницы следует удалить или заменить на корректные.

👉 Далее необходимо проверить, закрыты ли страницы с помощью "Disallow: /?%" в роботс, и если да, то удалить данное правило. А сами страницы закрыть от индексации с помощью мета-тега meta name= "robots" content="noindex, nofollow".

🔗О работе с файлом Robots.txt читайте в справке поисковой системы Google. Подробно про то, как исправить эту ошибку мы рассказывали тут.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...