⭐️ «Сколько углеводов в бутерброде с сыром?» 🥪

⭐️ «Сколько углеводов в бутерброде с сыром?» 🥪

27 000 запросов к ИИ — и ни одного одинакового ответа

На diabettech.com провели эксперимент: 13 фотографий еды отправили в Claude Sonnet 4.6, GPT-5.4 и Gemini более 26 000 раз с одним и тем же промптом.

Ни одна модель не давала стабильный ответ по количеству углеводов.

Даже на простом бутерброде с сыром модели ошибались сильно и по-разному:

🤖 Claude и Gemini стабильно занижали углеводы примерно на 12 г

🤖 GPT, наоборот, завышал почти вдвое

🤖 Gemini иногда «дорисовывал» ингредиенты, которых не было на фото

Самый жёсткий кейс — паэлья. 🍛 Один и тот же снимок Gemini 2.5 Pro оценивал от 55 до 484 г углеводов. Для диабетиков это разница в десятках единиц инсулина.

Все модели сообщали, что «уверены» в своих ответах. Но уровень уверенности почти не коррелировал с реальной точностью. Иногда модель была максимально уверена именно в неправильном ответе.

Что из этого полезно вынести:

🔴 ИИ генерирует вероятный ответ, а не достаёт факт из базы

🔴 Одинаковый запрос не гарантирует одинаковый результат

🔴 «Уверенный тон» модели не означает точность

🔴 Стабильность ответа тоже не гарантирует правильность

❗️Авторы исследования советуют не доверять ИИ в критичных расчётах без проверки, перепроверять ответы несколькими запросами и смотреть, как модель интерпретировала входные данные, а не только на финальный ответ.

Создавать SEO-тексты с проверкой факторов вы можете в нашем ИИ-редакторе 🔗 https://pr-cy.ru/articles/editor/

____

@prcynews

Источник новости https://t.me/prcynews/7600...