ИИ-краулинг и трафик расходятся — главные страницы...

ИИ-краулинг и трафик расходятся — главные страницы забирают в 15 раз больше ботов, а услуги получают х3 визитов

Анализ 560 695 запросов ИИ-краулеров по 74 аккаунтам Cloudflare и 446 267 реферальных переходов от ИИ на 27 аккаунтах с тарифом Pro раскрывает разрыв, который бренды оптимизируют вслепую: то, что ИИ читает, и то, куда он отправляет живых юзеров — это два разных паттерна.

Cloudflare стоит до GA4, поэтому реферальные переходы — это реальные клики, а не просто цитации.

Главные страницы получают примерно в 15 раз больше ИИ-краулинга, чем предсказывает их доля в структуре урлов.

С поправкой на то, что главная — это одна страница против десятков или сотен других, цифры просто зашкаливают: ничего похожего и близко нет.

Вывод переворачивает привычный вопрос: где публиковать теперь важнее того, что публиковать.

Хочешь, чтобы ИИ узнал что-то о бренде — вешай это на главную.

Объем сайта почти идеально коррелирует со вниманием ИИ — корреляция 0.86 между общим числом урлов и запросами краулеров, без просадок и без эффекта сложного процента при масштабировании.

Больше страниц — больше точек входа для совпадения с промптами.

Впрочем, корреляция не абсолютная: некоторые сайты на 50 страниц собирают столько же запросов, сколько и тысячники.

Скорее всего, дело в сильном присутствии бренда в обучающих данных или лучшей оптимизации страниц.

Трафик показывает картину резче, чем краулинг, хотя данные по переходам взяты из меньшей выборки в 27 сайтов на тарифе Pro, так что воспринимай их как вектор.

Страницы услуг и товаров собирают в среднем в 3 раза больше ИИ-трафика на страницу, чем типичная статья.

ИИ читает и суммаризирует статьи, но по реферальным переходам они проигрывают главным страницам почти на 20%.

Это Dark Library Effect — та же динамика нулевых поисков, которая перекроила классический поиск: юзеры с информационным интентом получают ответ прямо в выдаче и не кликают, тогда как коммерческий интент всё ещё заставляет людей переходить на главную или страницы услуг перед покупкой.

При этом 47% всех страниц в датасете сгенерировали ноль переходов.

Глубина папок накладывает налог на архитектуру.

ИИ-краулеры без проблем находят страницы на третьем-четвертом уровне вложенности, но в реферальных данных тарифа Pro виден жесткий обвал: страница в трех папках от корня собирает около четверти ожидаемого ИИ-трафика, а на четвертом уровне эта цифра падает почти до нуля.

Паттерн сохраняется независимо от размера сайта и типа страниц.

Это корреляция, а не причинно-следственная связь — если просто вытащить страницу выше, это не нальет ей ИИ-трафика автоматом.

Но при запуске нового проекта или переезде держать ключевые услуги в одном-двух кликах от главной — это железобетонная тактика.

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO