Новая атака с целью кражи данных внедряет вредоносные промпты в...

201

Новая атака с целью кражи данных внедряет вредоносные промпты в изображения высокого разрешения, которые активируются и выполняются LLM, когда система искусственного интеллекта автоматически уменьшает разрешение изображения.

Этот метод использует артефакты алиасинга, возникающие при работе алгоритмов ресэмплинга (например, метод ближайшего соседа, бикубическая интерполяция), чтобы сделать скрытые текстовые команды видимыми для модели.

Исследователи из Trail of Bits продемонстрировали атаку, похитив данные из Google Календаря с помощью Gemini CLI и Zapier MCP с параметром trust=True.

Подтвержденные уязвимые системы:

— Google Gemini (CLI, API, веб-интерфейс)

— Vertex AI Studio (с бэкендом Gemini)

— Google Assistant (Android)

— Genspark

Был выпущен инструмент с открытым исходным кодом, Anamorpher, для создания таких вредоносных изображений.

Рекомендуемые меры по снижению рисков:

— Внедрите ограничения на размеры изображений.

— Показывайте пользователям предварительный просмотр уменьшенного изображения перед его отправкой в LLM.

— Требуйте явного подтверждения от пользователя для вызовов инструментов, работающих с конфиденциальными данными, которые инициированы текстом, обнаруженным в изображении.

https://www.bleepingcomputer.com/news/security/new-ai-attack-hides-data-theft-prompts-in-downscaled-images/

@MikeBlazerX