Блокировка UTM-параметров в robots.txt ломает сканирование...

Блокировка UTM-параметров в robots.txt ломает сканирование — каноникал уже консолидирует версии

Директива Disallow в robots.txt для урлов с UTM-параметрами выглядит как быстрая победа для краулингового бюджета на крупном магазине Shopify, но бьет не туда.

Теги каноникал — это механизм, который Гугл построил именно под такие кейсы: UTM-версии с правильной настройкой консолидируются с их канонической версией.

На этом магазине такие урлы сканировались, но не индексировались — каноникалы уже делали свою работу.

Блокировка в robots.txt отрубает страницы, которые Гугл легитимно сканирует, и в итоге больше вредит, чем помогает.

На Shopify главная дыра в краулинге — это вообще не UTM, а урлы коллекций и вариантов, которые платформа штампует по дефолту; проверяй их в первую очередь.

Если UTM реально занимают второе место по объему, ищи источник: внутренние ссылки и партнерские интеграции с UTM можно заменить на чистые прямые урлы.

При этом настоящие внешние UTM — ссылки из соцсетей, рассылок и партнерок, которые скопировали и расшарили в дикой природе — легитимны, их глушить нельзя.

Единственный нюанс, из-за которого каноникал не дает полной гарантии: если UTM-урл собирает больше трафика и ссылок, чем его каноническая версия, Гугл может начать ранжировать UTM-урл вопреки тегу.

Блокировка через robots.txt тут не спасет — она не влияет на силу сигнала.

Рабочий рычаг находится на шаг выше: вычищай источники UTM, которые ты контролируешь (свои внутренние ссылки и партнерские размещения), а настоящие внешние не трогай.

Инсайты комьюнити

— Если каноникалы настроены правильно, UTM-урлы имеют низкий приоритет в рамках краулингового бюджета — лучше тратить время на зачистку более крупных проблем с индексацией.

— Прежде чем вообще рассматривать UTM-урлы как проблему краулингового бюджета, подтверди их реальный масштаб: чекай отчет по страницам в GSC и, если есть доступ, логи сервера — на Shopify логов сервера часто нет.

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO

Источник новости https://t.me/mikeblazerx/6576...