Хватит называть это "галлюцинациями"

Хватит называть это "галлюцинациями".

LLM работают именно так, как и были задуманы.

Написав две книги по машинному обучению и глубоко погрузившись в математические основы больших языковых моделей, я считаю своим долгом указать на одно укоренившееся в индустрии заблуждение: термин "галлюцинация ИИ" не просто вводит в заблуждение, он в корне неверен, — пишет Джейсон Белл.

Что происходит на самом деле

Когда LLM генерирует неверную информацию, она не "галлюцинирует".

Она выполняет процесс стохастического сэмплирования на основе изученных вероятностных распределений.

Каждый сгенерированный токен — это результат математических операций с весами внимания, нормализацией по слоям и softmax-функциями, которые оперируют в огромных пространствах параметров.

Модель делает именно то, чему ее обучали: предсказывает наиболее вероятный следующий токен в заданном контексте, с некоторой долей случайности, вносимой через температурное масштабирование и стратегии сэмплирования.

Здесь нет ни восприятия, ни ложных образов, ни когнитивного сбоя — только математическая теория вероятностей в действии.

Почему термин "галлюцинация" вводит нас в заблуждение

Антропоморфная трактовка создает несколько проблем:

1. Она подразумевает сбой там, где его нет.

Модель работает в рамках своих проектных параметров.

Когда она генерирует правдоподобно звучащую, но неверную информацию, — это ожидаемый результат процесса обучения, а не баг.

2. Она затуманивает реальные проблемы.

Вместо того чтобы сосредоточиться на улучшении качества обучающих данных, совершенствовании стратегий сэмплирования или разработке более совершенных методов количественной оценки неопределенности, мы отвлекаемся на метафору.

3. Она формирует нереалистичные ожидания.

Стейкхолдеры слышат слово "галлюцинация" и думают, что проблема бинарна: либо ИИ работает корректно, либо у него случаются "приступы".

В действительности же уверенность и точность существуют в рамках спектра, определяемого базовыми вероятностными распределениями.

Более подходящая концепция?

На самом деле мы имеем дело с дистрибутивным сэмплированием в условиях неопределенности.

Когда обучающих данных для определенной области мало, выученные моделью представления становятся менее надежными.

Когда параметр температуры высок, мы получаем более разнообразные, но потенциально менее точные результаты.

Когда контекст не дает достаточного сигнала, модель возвращается к более общим статистическим закономерностям из своего обучающего корпуса.

Это не патология, это статистика.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5513...