​💡 Как срезать расход токенов в LLM на 20–30%

​💡 Как срезать расход токенов в LLM на 20–30%

Есть простой хак, который дает неплохой выхлоп: юзайте YAML вместо JSON для структурированных данных в своих промптах.

Почему это пашет:

→ Полная совместимость: YAML — это надмножество JSON, так что его можно использовать везде, где вы обычно юзаете JSON.

→ Он компактнее: За счет отказа от мусорного синтаксиса типа кавычек и скобок, YAML передает ту же информацию в более чистой структуре.

→ Он эффективнее: Такой чистый синтаксис обычно дает на 20-30% меньше токенов.

Экономия становится очень заметной, особенно когда работаешь с длинными промптами или глубоко вложенными структурами данных.

Но есть нюансы

Хотя несколько исследований подтверждают эффективность YAML, на все могут влиять такие факторы, как минифицированный JSON, обработка пробелов и конкретная структура ваших данных.

Для реально важных задач лучшая практика — протестировать оба формата на своем датасете, чтобы убедиться в экономии.

Попробуйте в следующем промпте и сами увидите разницу.

https://medium.com/better-programming/yaml-vs-json-which-is-more-efficient-for-language-models-5bc11dd0f6df

https://medium.com/data-science-at-microsoft/token-efficiency-with-structured-output-from-language-models-be2e51d3d9d5

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5775...