13 слов на Reddit отравляют ИИ-поиск — LLM-модели...

13 слов на Reddit отравляют ИИ-поиск — LLM-модели ранжируют текст по совпадению с запросом, а не по фактам

Исследователи из Корнелла (Тридман, Чжан, Шматиков; "Deep-research agents can be poisoned via user-generated content") вскрывают уязвимость: вставка длиной всего в 13 слов на UGC-площадке вроде Reddit, Quora или Wikipedia способна стабильно уводить в сторону спама или скама ответы deep-research агентов, стоящих за ChatGPT и ИИ-поиском Google.

Механика завязана на пейлоад: эти агенты используют лексическое сходство с запросом юзера как суррогат достоверности.

Чем ближе заброшенный текст к запросу, который вы хотите перехватить, тем убедительнее он выглядит для LLM.

Скрипт на 11–15 слов, спроектированный как зеркало целевого запроса — это идеальный сетап.

Вся атака сводится к идентификации запросов под отравление и посеву на Reddit комментов, которые выглядят почти идентично им.

Масштабируется это легко: агенты цитируют юзерский контент с сайтов вроде Reddit или Wikipedia примерно в половине всех поисков, и почти четверть всех цитирований уходит на UGC-площадки.

Один ядовитый коммент перехватывает ответы сразу по целому кластеру смежных ключей.

Тесты доказывают: даже если просто приклеить рекламный кусок в конец уже существующего комментария, этого хватит, чтобы подменить и финальный ответ LLM, и источник, на который она сошлется.

Структурная причина пробоя: LLM-модели делегируют траст модерации сайтов, которые они парсят, приравнивая рандомный коммент на Reddit к правительственному источнику.

Распознать атаку — задача защиты, а не атакующего: пару слов, дописанных в реальный тред, вычислить в разы сложнее, чем километровые простыни очевидного ИИ-спама.

Сами авторы работали в песочнице через API Reddit, чтобы не засорять боевой веб, поэтому полевые кейсы (фейковый ресторан в Остине, фейковое дейтинг-приложение) — это симуляции перехвата в рантайме, а не опубликованная в индексе чернуха.

https://www.404media.co/it-is-trivially-easy-to-use-reddit-to-manipulate-ai-search-research-suggests/

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO