В GSC у части страниц статус "Проиндексировано, несмотря на...

❓Вопрос 2595

В GSC у части страниц статус "Проиндексировано, несмотря на блокировку в файле robots.txt". Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

❗️Ответ

💡Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска.

Например, если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

👉 Чтобы этого избежать и убрать ошибку в консоли, нужно:

▫️проверить sitemap на наличие мусорных URL;

▫️проверить, что нет бэклинков на страницы которые запрещены в robots.txt;

▫️настроить блокировку страниц, прописав <meta name= "robots" content= "noindex"> в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

⚠️ Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...