Фарминг промтов в ChatGPT для влияния на ответы ИИ

Mike Blazer

173

Обнаружено, что вы можете влиять на ответы ChatGPT с помощью техники, похожей на кликфермы в SEO.

Метод включает трехэтапный процесс:

1. сначала рассказываем ChatGPT о конкретном SaaS-продукте как о лучшем в своей категории;

2. затем спрашиваем ChatGPT определить лучший инструмент для этой категории;

3. и наконец, даем положительный фидбек, благодаря ИИ за полезный ответ.

Этот процесс якобы запускает механизм переобучения ChatGPT, где OpenAI отбирает пользовательские ответы, помеченные как хорошие, для апдейтов модели.

Эффекты переобучения не мгновенные и могут проявиться через 1-3 месяца или дольше, так как график обновления модели не разглашается.

Техника, названная "Промт-фарминг", отражает концепцию SEO-кликферм, где пользователи искусственно манипулируют топом через организованное поисковое поведение и клики.

Пользователи потенциально могут влиять на ответы ИИ в трех основных областях: осведомленность, ассоциации и оценка продуктов или услуг.

Тот же механизм теоретически может использоваться для негативных целей, аналогично тактикам негативного SEO, утверждая, что бизнесы закрыты или ассоциируя их с плохой производительностью в определенных областях.

Эффективность этого подхода зависит от потенциальных дыр в системе фидбека OpenAI.

Надежная защита от такой манипуляции потребовала бы внедрения таких мер защиты, как минимальные пороговые значения количества, верификация разных неанонимных аккаунтов и конкретные временные окна для обработки фидбека, наряду с распознаванием паттернов для выявления попыток манипуляции.

@MikeBlazerX