Перед LLM ставится задача предсказать следующее слово в...

Перед LLM ставится задача предсказать следующее слово в последовательности.

Это вопрос условной вероятности: учитывая предыдущие слова, какое следующее слово будет наиболее вероятным?

Картинка #1.

Чтобы предсказать следующее слово, модель рассчитывает условную вероятность для каждого возможного следующего слова с учетом предыдущих слов (контекста).

Слово с наибольшей условной вероятностью выбирается в качестве предсказания.

Картинка #2.

LLM изучает многомерное распределение вероятностей для последовательностей слов.

А параметрами этого распределения являются обученные веса или, скорее, предварительное обучение происходит под наблюдением.

Картинка #3.

Надеюсь, этот пост немного прояснил магию LLM и концепцию условной вероятности.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/2216...