​Кейс исправления проблемы "Проиндексировано, несмотря на...

​Кейс исправления проблемы "Проиндексировано, несмотря на блокировку в файле robots.txt" в GSC для e-commerce сайта Zamnesia.com

Изначально на сайте было почти 3000 URL-адресов, которые были проиндексированы, но заблокированы в robots.txt.

В начале процесса их число было еще выше - 6500 URL.

Задача состояла в том, чтобы сократить количество страниц в отчете "Проиндексировано, несмотря на блокировку в файле robots.txt" до нуля, не заблокировав при этом ни одного URL в файле robots.txt.

Сайт столкнулся с несколькими SEO-проблемами, характерными для крупных интернет-магазинов, включая различные типы URL-адресов, которые были заблокированы, но все еще индексировались.

Блокирование URL-адресов с помощью robots.txt не предотвращало их индексацию и не являлось эффективным решением для экономии краулинг бюджета.

Вот список подробных решений для каждого типа URL

URL-адреса "Добавить в корзину":

— Удаление внутренних ссылок на эти URL из кнопок "Добавить в корзину".

— Удалены правила из файла robots.txt, которые блокировали эти URL.

URL-адреса "Добавить в список желаемого":

— Удалили внутренние ссылки на эти URL из иконок и ссылок "Добавить в список желаемого".

— Удалили правила из файла robots.txt, блокировавшие эти URL.

Пагинированные страницы отзывов:

— Маскировка ссылок "следующая" и "предыдущая" на страницах обзоров, чтобы Google не мог по ним перейти.

— Установили для этих страниц значение "noindex" с помощью метатега robots и устранение блока в robots.txt.

Фильтры категорий:

— Маскировка ссылок фильтрации для предотвращения их краулинга поисковыми системами.

— Установили "noindex" с помощью HTTP-заголовка X-Robots-Tag.

— Удалили из файла robots.txt правила, блокировавшие эти URL.

Страницы результатов внутреннего поиска:

— Установили "noindex" с помощью метатега robots.

— Удалили правила из файла robots.txt, которые блокировали эти страницы.

Старые URL-адреса с идентификаторами сессий:

— Сняли бликировку в файле robots.txt, поскольку все URL с идентификаторами сеансов уже перенаправляли на аналоги без идентификаторов сеансов.

URL-адреса оформления заказа:

— Маскировка всех внутренних ссылок на эти страницы.

— Установили для этих страниц значение "noindex".

— Удалили правила из файла robots.txt, которые блокировали эти URL.

Чтобы избежать появления URL-адресов в отчете "Проиндексировано, несмотря на блокировку в файле robots.txt" в GSC, рекомендуется:

— Убедиться, что на эти URL-адреса нет внутренних ссылок, или сдлеаьт маскировку этих ссылок, чтобы поисковые системы не могли по ним переходить.

— Установить для URL-адресов значение "noindex" или соответствующим образом перенаправить их.

— Снять блок robots.txt для таких URL.

https://www.rebelytics.com/fixing-indexed-though-blocked-by-robots-txt-case-study/

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/2219...