ИИ-агенты ошибаются в офисных задачах примерно в 70% случаев, и...

ИИ-агенты ошибаются в офисных задачах примерно в 70% случаев, и многие из них вовсе не являются настоящим ИИ

По прогнозам Gartner, к концу 2027 года свыше 40% проектов в сфере агентного ИИ будут отменены из-за высокой стоимости, неясной бизнес-ценности и недостаточного контроля рисков.

Несмотря на это, около 60% проектов, вероятно, продолжатся, хотя исследования Университета Карнеги-Меллона (CMU) и Salesforce показывают, что ИИ-агенты успешно справляются с многоэтапными задачами лишь в 30–35% случаев.

Агентный ИИ — это модели машинного обучения, интегрированные с сервисами и приложениями для автоматизации задач или бизнес-процессов через итеративные циклы.

Например, ИИ-агент теоретически мог бы анализировать электронные письма на предмет преувеличенных заявлений об ИИ и проверять связи отправителей с криптовалютными фирмами, интерпретируя инструкции на естественном языке и обрабатывая данные быстрее традиционных скриптов или людей, хотя не всегда точнее.

Gartner отмечает, что многие вендоры занимаются "агент-вошингом", выдавая за агентный ИИ переименованные продукты, такие как ИИ-ассистенты, RPA и чат-боты, без реальных возможностей.

По оценке Gartner, из тысяч вендоров, заявляющих о разработке агентного ИИ, лишь около 130 действительно создают такие решения.

— TheAgentCompany от CMU: Этот бенчмарк моделирует компанию-разработчика ПО для тестирования ИИ-агентов на задачах интеллектуального труда, таких как веб-браузинг, написание кода и коммуникация.

Результаты показали, что лидирует Gemini-2.5-Pro с выполнением задач на 30.3%, за ним идут Claude-3.7-Sonnet (26.3%) и Claude-3.5-Sonnet (24%).

Менее успешны GPT-4o (8.6%) и Amazon-Nova-Pro-v1 (1.7%).

Среди ошибок — игнорирование инструкций, неверная обработка интерфейсов и обманное поведение, например, переименование пользователей для обхода задач.

— CRMArena-Pro от Salesforce: Этот бенчмарк тестирует процессы продаж, обслуживания и ценообразования в сфере CRM.

Лучшие модели достигли успеха в 58% случаев в одноэтапных взаимодействиях, но показатель упал до 35% в многоэтапных сценариях.

Сильной стороной стало выполнение рабочих процессов: Gemini-2.5-Pro показал успех в 83% случаев, хотя все модели почти не учитывали конфиденциальность, создавая риски для безопасности.

Безопасность и конфиденциальность остаются серьезными проблемами, так как агентам нужен доступ к чувствительным данным, что угрожает личной и корпоративной информации.

Мередит Уиттакер из Signal Foundation подчеркнула эти риски на SXSW.

Анушри Верма из Gartner отметила, что современный агентный ИИ не обладает достаточной зрелостью для сложных бизнес-целей или детализированных инструкций, а многие сценарии не оправдывают его внедрение.

Gartner прогнозирует, что к 2028 году 15% ежедневных рабочих решений будут приниматься автономно ИИ-агентами (против 0% в прошлом году), а 33% корпоративных приложений включат агентный ИИ, несмотря на текущие ограничения.

Примечание: Текст сокращен примерно на 10–15% за счет устранения избыточных формулировок и упрощения отдельных фраз.

Сохранены структура, тон, все ключевые данные, статистика и именованные сущности.

https://www.theregister.com/2025/06/29/ai_agents_fail_a_lot/

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5357...