Бернард Хуанг поднял тему, заметив интересный перекос в том...

176

Бернард Хуанг поднял тему, заметив интересный перекос в том, как разные LLM-ки подбирают источники для запросов-сравнений.

Он отметил, что Gemini, похоже, активно избегает официальные бренды и источники, в то время как GPT-модели, наоборот, отдают им предпочтение.

Его основной поинт: есть ли у кого-то данные о том, какой тип контента разные AI-модели юзают в качестве источников и как поведение в веб-поиске связано с видимостью в сгенерированных AI ответах.

Позже он уточнил свою позицию: хотя Google/Gemini/AIO могут *упоминать* дохера брендов, они очень жмутся на реальные цитаты.

И наоборот, он видит, что у GPT-5 высокий процент ответов (около 75%) идет без ссылок.

Бернард предполагает, что дело в стоимости веб-серча по API, который обычно врубается только для запросов, где важна свежесть инфы (например, со словами типа "best", "trends" или годом в будущем).

Инсайты сеошников

1 Для запросов-сравнений типа "A vs B" в нише хостингов один юзер заметил, что ChatGPT ссылается на источники по четкой иерархии: сначала Википедия, затем трастовые сторонние площадки (в основном аффилиаты), и только потом официальные сайты.

2 Анализ по нишам Tech, B2B SaaS, healthtech и sectech показал, что у LLM-ок разные паттерны по цитированию:

— Google AIO: Показывает максимально возможное число брендов, давая шанс засветиться мелким ребятам, хотя крупные, конечно, упоминаются чаще. Считается, что это самая простая платформа, чтобы получить упоминание своего бренда.

— ChatGPT: Упоминает меньше брендов, чем AIO, и чаще ссылается на крупные, авторитетные бренды из-за более ограниченных и свежих датасетов.

— Perplexity: Дает меньше всего ссылок и сильно топит за крупные, известные бренды. Отмечают, что у него, возможно, самый свежий обучающий датасет, а это открывает возможности для новых брендов через грамотный медиа-план, Reddit и сторонние сайты-обзорники.

3 В противовес автору, один юзер с датасетом из тысяч B2B-запросов обнаружил, что большинство ответов от GPT-5 (и через API, и в интерфейсе) как раз *содержат* веб-серчи и ссылки на источники.

4 Такая высокая доля ссылок в GPT-5 была четко связана с запросами типа problem-aware ("Есть ли тулзы, которые могут автоматизировать…"), solution-aware ("У каких хостингов для WordPress лучшие…") и brand-aware/alternatives ("Какой сервис лучше заюзать вместо…").

Использование слов типа "best" также было частым в этих промптах.

5 Сообщают о серьезном сдвиге в поведении моделей: GPT-4 почти не давал URL-ссылок, в то время как GPT-5 теперь отдает их в большинстве случаев для упомянутых выше типов запросов.

Также заметили, что при переходе с GPT-4o на GPT-5 стало больше веб-серчей.

6 GPT-5, возможно, спецом делает больше веб-серчей, чтобы быть "умным, а не знающим".

Таким образом, он меньше зависит от своих накопленных знаний и больше — от внешней инфы.

@MikeBlazerX