Вектор атаки на голосовой ИИ опустошил счет на $600 меньше чем за час

Вектор атаки на голосовой ИИ опустошил счет на $600 меньше чем за час

Скрипт завалил мою форму "перезвоните мне" фейковыми международными номерами, пишет Гурлин.

Мой исходящий голосовой ИИ обзванивал их и залипал на разговорах с чистыми аудиозаписями, накручивая расходы на телефонию и ИИ, пока мой банк не заблокировал транзакции.

Этот же вектор работает и на входящих, забивая опубликованные линии фейковыми звонками.

Я добавляю капчу, но понимаю, что это не настоящее решение.

Я подумываю о том, чтобы вообще убрать форму, пока не внедрю надежную верификацию, лимиты по частоте запросов и жесткие лимиты расходов.

Нашим поставщикам инфраструктуры для голосового ИИ нужно выкатывать лучшие защитные механизмы по умолчанию: геоблокировки, разумные ограничения, обнаружение аномальных всплесков, бюджеты на каждый сценарий и более безопасные настройки для международных звонков.

Вы можете послушать, насколько убедительны эти записи, здесь.

Когда вашего ИИ-агента можно заставить говорить с более дешевым ИИ или записью, это прожигает дыру в вашем кошельке.

Это состязательная экономика: пока минута работы вашего ИИ стоит дороже, чем их скрипт для генерации аудио, вы — цель.

А еще есть инъекции промптов.

Та воронка лидов на базе ИИ, которую вы построили, может быть использована как оружие, чтобы завалить звонками систему 911, спамить или даже "сватить".

Капча вас не спасет; здесь нужна эшелонированная оборона.

Инъекции промптов убивают всякую надежду на полностью автоматизированных агентов, и мы вступаем в фазу "столкновения с реальностью" этого технологического цикла.

Сама природа технологии — недетерминированная и небезопасная — гарантирует, что каждый проект в области ИИ становится таким же сложным, как внешний аутсорсинговый проект, требуя надежной безопасности, QA и протоколов.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5693...