​Анализ поведения ИИ-краулеров Объем и распределение трафика

​Анализ поведения ИИ-краулеров

Объем и распределение трафика

— GPTBot (ChatGPT): 569 млн запросов/месяц

— Claude: 370 млн запросов/месяц

— Совокупный объем ИИ-краулеров составляет примерно 28% от объема Гуглбота (4,5 млрд запросов)

— Географическая концентрация: только дата-центры США (против 7 локаций у Гуглбота)

Обработка JavaScript

— Основные ИИ-краулеры (OpenAI, Anthropic, Meta, ByteDance, Perplexity) не рендерят JavaScript

— Только Gemini (через Гуглбот) и AppleBot могут полностью рендерить JavaScript

— ChatGPT и Claude подгружают JS-файлы, но не исполняют их

— ChatGPT: 11,50% запросов

— Claude: 23,84% запросов

Приоритеты по типам контента

— ChatGPT: фокусируется на HTML (57,70%)

— Claude: приоритизирует изображения (35,17%)

— Оба тратят значительные ресурсы на неисполняемый JavaScript

— У Гуглбота более сбалансированное распределение по типам контента

Неэффективности

— Высокий процент 404-ошибок:

— ChatGPT: 34,82%

— Claude: 34,16%

— (против 8,22% у Гуглбота)

— ChatGPT: 14,36% запросов проходят через редиректы

— Частые попытки получить устаревшие ассеты

SSR (рендеринг на стороне сервера)

1. Серверный рендеринг критически важен, так как ИИ-краулеры не могут обрабатывать клиентский контент

2. Критически важный контент должен быть в изначальном HTML-ответе

3. SEO-видимость теперь зависит как от традиционных поисковиков, так и от ИИ-краулеров

4. Необходимо улучшить управление URL из-за высокой неэффективности краулеров

https://vercel.com/blog/the-rise-of-the-ai-crawler

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4421...