Провел бенчмарк LLM (только от поисковых систем) для поиска...

Провел бенчмарк LLM (только от поисковых систем) для поиска информации и создания саммари в виде таблицы.

Задача: составить список альбомов Black Sabbath и указать годы выхода и вокалистов, которые участвовали в записи.

1) YandexGPT не справился совсем

2) Google Gemini справился с 5 раза после уточняющих промтов (ошибался и указывал не все альбомы, путал годы издания)

3) Microsoft (Bing) Copilot порадовал и справился с 1 раза.

В общем, до успешной попытки скрестить поиск с LLM пока далеко и все требует ручного факт-чекинга и гугления, экономии времени не происходит, можно идти сразу гуглить.

А для помощи при отсутствии креативности и как в помощник в программировании такие инструменты идеально подходят.

Источник новости https://t.me/notjohnmu/1434...