Как оптимизировать промты для дешевых моделей, чтобы они...

Как оптимизировать промты для дешевых моделей, чтобы они работали почти как дорогие: алгоритм эволюции GEPA

GEPA — это эволюционный цикл улучшения промтов, где вместо ручной правки они автоматически мутируют и отбираются по метрикам.

GEPA цикл = генерация → тест → отбор → повтор, пока промт не станет оптимальным.

Качать можно отсюда: https://github.com/gepa-ai/gepa

На скрине — пример сервиса GEPA для оптимизации промта классификации фраз.

Как работает цикл:

• создается эталонный пример сортировки фраз с помощью дорогой модели, например Claude Opus 4.6

• задается промт, который нужно оптимизировать под задачу

• дешевая модель делает несколько генераций по этому промту

• считается метрика качества классификации на эталонном примере

• фиксируется стартовый результат

• в промт вносятся «мутации»

• мутация, которая дает прирост метрики, сохраняется

Главное — весь цикл выполняется автоматически.

Чтобы избежать переобучения промта на тестовых данных, используется отдельная валидационная выборка с той же задачей, но с другими данными.

Прикладная ценность высокая

Например, нужно описать 1 млн карточек товаров. Дешевая модель дает слабый результат, дорогие качественные, но дорогие.

Вместо ручной настройки промтов запускается цикл GEPA с заданными критериями качества.

Метрики можно считать в том числе другой нейронкой, например, через сравнение с эталонным текстом. И тогда промт будет эволюционировать до тех пор пока не приблизится к эталону.

Есть опыт внедения GEPA для товаров и по нему — лучше делать под каждую категорию товаров свой цикл обучения, чтобы из дешевой модели выжать максимум качества.

А цикл обучения может стоит 5,10,50, 1000$ в зависимости от задачи. У меня, например, сейчас крутится цикл уже 40 часов, который схавал 100 долларов.

Источник новости https://t.me/seokotenkov/679...