Не воспринимайте LLM как сущности, думайте о них как о симуляторах
76
Не воспринимайте LLM как сущности, думайте о них как о симуляторах.
Например, исследуя тему, не спрашивайте:
"Что ты думаешь о xyz"?
Никакого "ты" не существует.
В следующий раз попробуйте:
"Какая группа людей лучше всего подойдет для исследования xyz? Что бы они сказали"?
LLM может транслировать/симулировать множество точек зрения, но она не "думала о" xyz какое-то время и не формировала собственные мнения так, как мы привыкли.
Если вы форсируете это через "ты", она выдаст вам что-то, приняв вектор встраивания (embedding vector) личности, подразумеваемый статистикой её данных для файн-тюнинга, и затем симулирует это.
Так делать норм, но в этом гораздо меньше мистики, чем люди наивно приписывают "разговору с ИИ".
Кстати, большая часть людей неправильно поняла этот твит, мой косяк.
Я не предлагаю использовать старые методы промптинга типа "ты эксперт-программист на swift" и т.д., это ок.
Определенно идет работа над инжинирингом симуляции "ты" — личности, которая получает все награды в верифицируемых задачах, или все апвоуты от юзеров`/LLM`-судей, или мимикрирует под ответы SFT, и из этого возникает композитная личность.
Мой поинт скорее в том, что это "ты" намеренно прикручено, спроектировано и наслоено на то, что фундаментально является движком симуляции токенов, а не разумом, который как-то эмерджентно возник и со временем сконструировался во что-то понятное среднему человеку, говорящему с ИИ.
История чуть проще в верифицируемых доменах, но, думаю, интереснее/сложнее в неверифицируемых, например, если спрашивать мнения о темах xyz.
Менее понятно, как воспринимать это "ты", с которым вы говорите, откуда оно берется и какое доверие ему оказывать.
@MikeBlazerX
Пушки — в @MikeBlazerPRO
Ссылки из поста:– https://x.com/karpathy/status/1997731268969304070
– https://t.me/MikeBlazerX
– https://t.me/tribute/app?startapp=sE4X
Источник новости https://t.me/mikeblazerx/6041...

