Как большие языковые модели (LLM) генерят текст?

Как большие языковые модели (LLM) генерят текст?

Прежде чем перейти к обсуждению LLM, давайте разберемся, что такое условная вероятность.

Мы рассматриваем популяцию из 14 человек:

— Некоторые из них любят теннис 🎾

— Некоторые любят футбол ⚽️

— Некоторым нравится и то, и другое 🎾 ⚽️

— И немногие не любят ни то, ни другое

Как это выглядит - картинка #2.

Так что же такое условная вероятность?

Это вероятность наступления события при условии, что другое событие уже произошло.

Если события A и B, то мы обозначим это как P(A|B).

Это означает "вероятность события A с учетом события B".

Посмотрите картинку #3.

Например, если мы прогнозируем, будет ли сегодня дождь (событие A), то знание того, что сегодня пасмурно (событие B), может повлиять на наш прогноз.

Поскольку вероятность дождя в пасмурную погоду выше, то условная вероятность P(A|B) будет высокой.

Вот вам и условная вероятность!

Как же это относится к LLM, например, GPT4?

Смотрите следующий пост 👇

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/2213...