Широкие вайлдкарды в robots.txt втихую сносят денежные страницы

Широкие вайлдкарды в robots.txt втихую сносят денежные страницы

Правило Disallow: /*?, предназначенное для блокировки параметров отслеживания, блочит каждый параметризованный URL за ним — включая отфильтрованные и отсортированные страницы товаров и категорий, которые генерят продажи.

В одном примере из e-commerce эта единственная строчка оставила около 40% страниц товаров вне индекса; в кейсе ритейлера падение трафика составило 45%, где на диагноз ушло шесть недель и еще шесть — на восстановление.

Ловушка в том, что вайлдкарды срабатывают как подстроки, а не как полные пути.

Disallow: /*print блокирует /blueprints/, /footprint/ и /imprint/ — всё, что содержит "``print``".

Disallow: /account/ также цепляет /account-settings/.

Правило делает ровно то, что написано; просто набор совпадений шире, чем задумывалось.

Управляй параметрами на уровне самих параметров, никаких ковровых /*?:

— Блокируй только мусор: Disallow: /__?session=, Disallow: /__?utm_.

— Проставляй каноникал на отфильтрованные варианты вместо их блокировки, чтобы сигналы краулинга и ссылочного веса перетекали на основной урл.

Забей на клоакинг чисто под Googlebot.

Связка User-agent: Googlebot / Disallow: / плюс User-agent: * / Allow: / ничего не скрывает — Google всё равно это просканирует, а считывается это как сигнал обмана.

Закрывай страницы через meta robots или авторизацию, а не устраивай театр с robots.txt.

Валидируй перед выкаткой в прод.

Спарси сайт в Screaming Frog один раз с учетом robots.txt, второй раз — без, а затем сравни результаты: каждый URL, который отваливается по правилам — это страница, которую файл прячет от Google.

Убедись, что критичные пути — товары, чекаут, регистрации, скачивания ресурсов, блог — проходят проверку в тестере robots.txt в GSC.

Храни файл в системе контроля версий с датированным чейнджлогом, чтобы кривая выкатка откатывалась за секунды.

Зачистка также высвобождает краулинговый бюджет: удаление дизэллоу, которые защищали малоценные урлы, перенаправляет больше краулинга Google на страницы с конверсией.

Аудируй весь файл ежеквартально и точечно проверяй критичные URL каждый месяц — забытое правило, которое никто не помнит, высасывает выручку.

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO

Источник новости https://t.me/mikeblazerx/6539...