Как бысрее удалить вредящие страницы из индекса Google

Как бысрее удалить вредящие страницы из индекса Google

У вас проиндексировались сотни лишних страниц с метками, фильтры, сортировки, технические, пустые. Передаю привет Битриксу.

Недавний кейс. Чистый индекс в Яндекс 1200 страниц, в Google 2100 страницы из-за перечисленных выше проблем.

Что обычно первое приходит на ум? Открыть файл robots.txt и прописать что-то типа

Disallow: */?block=

Disallow: */?del_filte*

Disallow: */WEB_FORM_ID=*

Disallow: */?SHOWALL_*

Disallow: */?lang

Disallow: */detail.php

Disallow: */?clid=

Disallow: */?frommarket=

Disallow: */?

Потом вывести canonical и\или robots noindex.

И тут вы стреляете себе в колено, замуровывая 900 мусорных страниц в индексе Google на долгое время.

Тут важно разделить два понятия сканирование и индексирование.

Файл robots.txt запрещает Google сканировать страницы, но не индексировать. И если страница уже была проиндексирована, потом ее закрыли от сканирования в robots.txt, то по сути вы запрещаете Google просканировать страницу повторно, и он не увидит canonical и\или robots noindex на странице. Вам останется ждать пока Google сам признает страницу дублем, недостаточно качественной и выкинет из индекса, что может занять очень много времени.

Как исправить ситуацию:

1. Убрать правила из robots.

2. Вывели тег robots noindex.

3. Отправить на переобход с помощью Indexing API.

4. И только после полной очистки можно прописать файл robots.txt.

Источник новости https://t.me/seokotenkov/240...