Точность LLM может падать на 40% всего после пары обменов сообщениями

126

Точность LLM может падать на 40% всего после пары обменов сообщениями.

В недавнем исследовании "LLM ТЕРЯЮТСЯ В МНОГОХОДОВЫХ ДИАЛОГАХ" авторы взяли одношаговые промпты из популярных бенчмарков и разбили их так, что модели приходилось вести многоэтапный диалог, чтобы получить всю информацию.

TL;DR:

— Одношаговые промпты: точность ~90%.

— Многоходовые промпты: точность ~65% даже у топовых моделей вроде Gemini 2.5.

Одно из решений: как только весь контекст готов, передать его целиком «чистой» LLM без истории переписки.

Идея объединения всех фрагментов и отправки их модели без истории сообщений позволила поднять показатели до 90%.

Если вы выкатываете любую фичу с ИИ, которая предполагает диалоговое взаимодействие, сделайте многоэтапные тест-кейсы ключевой частью вашего набора для QA и оценки.

Исследование: https://arxiv.org/pdf/2505.06120

Анализ: https://www.prompthub.us/blog/why-llms-fail-in-multi-turn-conversations-and-how-to-fix-it

@MikeBlazerX