Когда блокировка страниц в Robots.txt приводит к увеличению...

201

Когда блокировка страниц в Robots.txt приводит к увеличению индексации 🤖

На сайте одного из моих клиентов на Magento недавно начали генерироваться бесконечные фасетные URL, которые Гугл начал активно краулить, пишет Шарль Вайсье.

Из-за ограниченных ресурсов разработки для нормального исправления проблемы или даже добавления noindex тегов (которые, как мы знаем, со временем помогли бы Гуглу меньше краулить эти страницы) и предстоящей миграции, мы решили заблокировать URL в robots.txt, чтобы предотвратить миллионы ненужных краулов.

То, что произошло дальше, было совершенно неожиданным.

Вместо того чтобы просто прекратить краулинг, Гугл также начал стремительно индексировать эти URL.

Нашей целью было просто остановить гуглобота от краулинга страниц, оставив их неиндексированными.

Для решения проблемы мы откатили изменения и удалили правила disallow из robots.txt.

Постепенно Гугл начал исключать страницы из индекса.

⚠️Что стало причиной?

Каноникал теги на этих фасетных URL работали корректно, предотвращая их индексацию.

Однако, заблокировав URL в robots.txt, мы помешали Гуглу видеть эти каноникал теги, что привело к индексации URL вместо их игнорирования.

💡Ключевой вывод:

Хотя блокировка URL в robots.txt не останавливает их индексацию (что мы знали), она может привести к их индексации, мешая Гуглу видеть критически важные сигналы, такие как каноникал теги.

Этот случай подчеркивает важность понимания того, как различные элементы SEO взаимодействуют между собой, прежде чем вносить изменения.

Как вы думаете, было ли это нормальным и ожидаемым поведением со стороны Гугла?

@MikeBlazerX