Насколько безопасны наши конфиденциальные переписки с...

Насколько безопасны наши конфиденциальные переписки с AI-помощниками вроде ChatGPT?

В ходе исследования был обнаружен неожиданный изъян в системе безопасности, который ставит под угрозу приватность ваших AI-переписок.

Представьте: вы консультируетесь с ИИ по личному вопросу или редактируете секретный документ, полагая, что ваша переписка надежно зашифрована.

Однако простой анализ сетевого трафика может раскрыть содержание этих бесед - даже без доступа к исходным сообщениям...

Однажды поздно вечером, работая с ChatGPT, исследователь в области кибербезопасности сделал поразительное открытие.

Наблюдая за тем, как появляются ответы ChatGPT на экране, он заметил что-то странное.

Открыв Wireshark (программу для анализа сетевого трафика), он подтвердил свои подозрения.

Каждое отдельное слово от AI-ассистентов отправлялось как отдельный пакет, и измеряя разницу в размерах пакетов, можно было определить точное количество символов в каждом слове.

Это, казалось бы, безобидное наблюдение открыло дверь серьёзной уязвимости в приватности.

Суть этого открытия заключается в том, как языковые модели ИИ обрабатывают текст, используя "токены" - базовые элементы, которые эти модели используют для понимания и генерации языка.

Хотя токены примерно соответствуют словам, иногда они могут разбивать слова по-разному.

Например, слово "cream" может быть разбито на два отдельных токена.

Однако, поскольку эти паттерны токенизации общедоступны, их можно использовать для расшифровки зашифрованных сообщений.

Представьте такой сценарий: когда кто-то спрашивает ИИ-ассистента о медицинском состоянии или просит совета по отношениям, их начальное сообщение надёжно зашифровано.

Однако когда ИИ отвечает что-то вроде "Мне жаль слышать о вашей сыпи", злоумышленник, мониторящий сетевой трафик, потенциально может расшифровать ответ - и, соответственно, понять, о чём был исходный вопрос.

Исследовательская команда разработала решение на базе ИИ для взлома этой головоломки, по сути рассматривая это как задачу перевода - конвертируя последовательности длин токенов в читаемый английский текст.

Обучив свою модель на специфических речевых паттернах ИИ-ассистентов (например, как они часто начинают ответы фразами типа "Конечно, я могу помочь с этим"), они достигли впечатляющего 55% успеха в расшифровке полных ответов.

Уязвимость не ограничивалась одной платформой - она затрагивала практически всех крупных провайдеров ИИ-сервисов до начала 2024 года.

Причина такого широкого распространения проблемы?

ИИ-компании передают ответы токен за токеном, чтобы обеспечить лучший пользовательский опыт, а не заставлять пользователей ждать полных ответов.

Хотя это и создает более увлекательное взаимодействие, но непреднамеренно обнажает этот недостаток безопасности.

Это открытие показывает, как казалось бы зашифрованные приватные разговоры с ИИ-ассистентами могут быть не такими приватными, как думают пользователи.

Независимо от того, спрашивает ли кто-то медицинский совет, консультацию по отношениям или редактирует личные документы, злоумышленник потенциально может перехватить и расшифровать эти чувствительные разговоры, анализируя паттерн длин токенов в ответах.

Даже без возможности прочитать исходный промпт пользователя, ответы ИИ часто содержат достаточно контекста, чтобы раскрыть суть приватного разговора.

Подробнее об этом в видео с хакерской конференции DEF CON 32

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4173...