Мальте Ландвер спросил у нескольких LLM про топ-5 брендов...

Mike Blazer

103

Мальте Ландвер спросил у нескольких LLM про топ-5 брендов беговых кроссовок.

1️⃣ Предвзятость к брендам:

Gemini-2.0-Flash не любит Nike и Adidas, но фанатеет от Hoka.

Claude-3-Opus тоже не рекомендует Adidas.

Обе эти модели рекомендуют Saucony гораздо чаще, чем любые другие модели!

Mistral-Large меньше всего рекомендовал New Balance среди всех моделей. И только он рекомендовал Under Armor и Merrell.

2️⃣ Консистентность и вариации

Gemini-2.0-Flash была единственной моделью, которая отвечала одинаково каждый раз.

Mistral-Large был единственной моделью, которая не была консистентной в своей рекомендации №1. Все остальные модели всегда отвечали одними и теми же брендами на позициях 1 и 2.

Mistral-Large также был единственной моделью, которая рекомендовала в общей сложности 8 разных брендов.

Gemini-2.0-Flash и GPT-4.5-Preview всегда рекомендовали одни и те же 5 брендов.

Другие модели рекомендовали в общей сложности 6 или 7 брендов.

3️⃣ Интерпретация

Хотя точный результат будет варьироваться в зависимости от ваших промптов и, возможно, истории вашего аккаунта, интересно видеть, насколько модели не согласны друг с другом.

Разница в результатах означает, что вам, вероятно, стоит начать отслеживать видимость вашего бренда в LLM.

4️⃣ Методология

Промпты были запущены через API. Локация - США. Каждый промпт был запущен 10 раз.

Без граундинга или веб-поиска. Так что ответы приходят от базовой модели. Во многих реальных сценариях такие промпты получили бы ответ с использованием RAG.

Затем Мальте запустил еще и детальный промпт (10 раз для каждой модели).

На этот раз он смотрел только на "упоминается ли бренд" и игнорировал сортировку.

Наблюдения:

— Модели согласны только по двум брендам (Asics и Brooks)

— Только Mistral-Large рекомендовал Adidas. И делал это в 9 из 10 ответов!

— Есть 3 бренда (Saucony, Hoka, Nike), которые имеют 100% видимость в некоторых моделях и 0% видимость в других.

Скриншот

@MikeBlazerX