​То, что ChatGPT может автоматически генерировать что-то, что...

​То, что ChatGPT может автоматически генерировать что-то, что хотя бы поверхностно похоже на написанный человеком текст, удивительно и неожиданно. Но как он это делает? И почему это работает?

Статья на 19к слов детально раскрывает и объясняет как работает ChatGPT, с кучей картинок и примеров.

https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

Основная концепция ChatGPT довольно проста. Начните с огромной выборки созданного человеком текста из интернета, книг и т.д. Затем обучите нейронную сеть генерировать текст, который "похож на этот". И, в частности, сделать так, чтобы она могла начать с "подсказки", а затем продолжить текст, который "похож на то, чему ее обучали".

Нейронная сеть в ChatGPT состоит из очень простых элементов - хотя их миллиарды. И базовая работа нейронной сети также очень проста, она состоит в том, чтобы пропускать входные данные, полученные из текста, который она сгенерировала до сих пор, "один раз через свои элементы" (без каких-либо циклов и т.д.) для каждого нового слова (или части слова), которое она генерирует.

Но самое замечательное и неожиданное заключается в том, что этот процесс может производить текст, который успешно "похож" на тот, что есть в Интернете, в книгах и т.д.. И это не только связный человеческий язык, он также "говорит вещи", которые "следуют его подсказке", используя содержание, которое он "прочитал". Он не всегда говорит вещи, которые "глобально имеют смысл" (или соответствуют правильным вычислениям) - потому что (без доступа, например, к "вычислительным суперспособностям" Wolfram|Alpha) он просто говорит вещи, которые "звучат правильно", основываясь на том, как вещи "звучали" в его учебном материале.

Специфическая инженерия ChatGPT сделала его весьма убедительным. Но в конечном итоге (по крайней мере, пока он не сможет использовать внешние инструменты) ChatGPT "просто" извлекает некую "связную нить текста" из накопленной им "статистики общепринятой мудрости". Но удивительно, насколько результаты похожи на человеческие. И это наводит на мысль о чем-то, по крайней мере, очень важном с научной точки зрения: человеческий язык (и модели мышления, лежащие в его основе) как-то проще и более "законоподобны" в своей структуре, чем мы думали. ChatGPT косвенно обнаружил это.

То, что ChatGPT делает в генерации текста, очень впечатляет - и результаты обычно очень похожи на то, что мы, люди, могли бы произвести. Значит ли это, что ChatGPT работает как мозг? Его искусственно-нейросетевая структура, лежащая в основе, в конечном итоге была смоделирована на основе идеализации мозга. И кажется вполне вероятным, что когда мы, люди, генерируем язык, многие аспекты происходящего очень похожи.

Когда дело доходит до обучения, различное "оборудование" мозга и современных компьютеров заставляет ChatGPT использовать стратегию, которая, вероятно, довольно сильно отличается (и в некоторых отношениях гораздо менее эффективна) от стратегии мозга. И еще кое-что: в отличие даже от типичных алгоритмических вычислений, ChatGPT не имеет внутренних "циклов" или "повторных вычислений на данных". И это неизбежно ограничивает его вычислительные возможности - даже по отношению к современным компьютерам, но уж точно по отношению к мозгу.

Но пока что интересно посмотреть, что уже удалось сделать ChatGPT. На каком-то уровне это отличный пример фундаментального научного факта, что большое количество простых вычислительных элементов может делать удивительные и неожиданные вещи. Но это также дает, возможно, лучший за последние две тысячи лет импульс для лучшего понимания фундаментального характера и принципов той центральной черты человеческого бытия, которой является человеческий язык и стоящие за ним процессы мышления.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/1228...