Отчет "AI Insights" от Cloudflare предоставляет...

173

Отчет "AI Insights" от Cloudflare предоставляет данные о том, как ИИ-боты, такие как GPTBot, Claudebot и Amazonbot, краулят веб, с подробным описанием их активности, целей и поведения.

Основные выводы по данным за последние 12 месяцев:

1 Активность и тренды краулеров: GPTBot был самым активным краулером, на его долю пришлось 30% активности, за ним следует Claudebot с 21%.

Однако объем краулинга GPTBot'а за последние три месяца снизился примерно на 50%.

2 Основная цель краулинга: При группировке по интенту, 80% активности ИИ-краулеров приходилось на цели обучения, в то время как 16% — на поиск.

3 Соотношение краулинга к рефералам: Perplexity показал наилучшее соотношение: 185 краулов на каждого отправленного реферала.

В отличие от него, у Claude было одно из самых низких соотношений: 75 000 прокрауленных страниц на одного реферала.

4 Следование лучшим практикам: Claudebot не использует верифицированные IP, и неясно, соблюдает ли он директивы в robots.txt.

Perplexity не был упомянут в списке, но сообщается, что он использует скрытые краулеры.

5 Поведение в конкретных отраслях: Набор данных позволяет фильтровать по отраслям.

В отрасли "News" активность Meta-ExternalAgent возрастает до 16% от всех краулов, а цель "поиск" для всех краулеров увеличивается до 21%.

Хотя отчет дает общие представления, анализ данных ваших собственных лог-файлов необходим для понимания специфики взаимодействия ИИ-краулеров с вашим сайтом.

https://radar.cloudflare.com/ai-insights

---

Иан Каппеллетти навайбкодил расширение для Chrome для экспорта данных из отчета по метрикам ИИ в Cloudflare.

Короче, загружаете страницу с метриками ИИ в CF, кликаете на иконку расширения, а затем выбираете нужный временной диапазон в выпадающем меню отчета.

CSV-файлы скачиваются автоматически.

Известные баги: вверху появляется "страшный", но безобидный баннер отладки; скачивание данных за диапазон по умолчанию (последние 7 дней) немного муторное, так как нужно сначала выбрать другой диапазон, нажать на кнопку расширения, а затем снова выбрать диапазон по умолчанию.

Скачайте расширение в следующем посте.

https://developers.cloudflare.com/ai-crawl-control/features/analyze-ai-traffic/

@MikeBlazerX