Добавление файлов в проекты и ботов для буста качества генерации...

Добавление файлов в проекты и ботов для буста качества генерации контента

У всех основных провайдеров LLM есть возможность подключения базы знаний к проектам:

• GPT в ChatGPT (бесит этот нейминг), Gem-боты в Gemini

• Проекты в ChatGPT, Claude, Grok

В интерфейсе ChatGPT они находятся тут: https://skr.sh/sZwqHqZBjXb

Чем это отличается от добавления файла в чат?

Добавляя файл напрямую в чат, вы добавляете его в контекст этого чата и как бы говорите: «я хочу, чтобы этот файл учёлся полностью». Контекст не резиновый — большое количество файлов его портит, приходится переходить на новые чаты и т. д. Потому что так работают механизмы внимания LLM.

Добавление файлов в проекты или ботов — это создание простой RAG-базы знаний, к которой агент будет обращаться во время ответа в чате по правилам, которые вы ему пропишете. Это позволяет загрузить значительно больше данных для использования и не портить контекст.

И самое главное для ленивых — это возможность сгрузить кучу файлов, и там ИИ уже сама разберётся (по нашим правилам), что ей искать для конкретного случая генерации.

Объёмы файлов

Всё зависит от уровня подписки и типа проектов, поэтому нужно изучать ограничения для каждой системы отдельно.

Например, в Gem-бота можно загрузить до 10 файлов, каждый по 100 МБ. 1 ГБ текста в чат вы не запихнёте.

Промт для использования БД

Обязательно в ваших промтах на генерацию или в системных промтах в ботах регламентируйте, как использовать БД.

Например, если у вас есть БД с кейсами компании, можно написать промт типа такого:

«К тебе подключена база данных наших кейсов по разным темам и нишам. Обязательно по ходу генерации текста вставь 2 кейса из нашей базы данных в контексте темы текста».

На скриншоте

Пример использования: в этого бота у меня загружены все посты с моего канала, все кейсы агентства, плюс презентации, КП и прочее, что не умещается в контекст чата.

Результат: бот нашёл нужные посты по теме и подобрал релевантный кейс.

Основной профит

Вы можете накидать кучу файлов под конкретный проект и не сидеть каждый раз, ковыряясь в информации, думать, что нужно добавить в контекст, а что нет.

Но, конечно, обращение к базе знаний жрёт ресурсы, поэтому можно добавить промт, который сначала вытаскивает нужную инфу из БД, а уже потом генерирует результат. Типа такого: https://skr.sh/sZw0hpYoXhr. Но это актуально, если у вас промт требует много действий.

Ну или использовать подписки уровня PRO / ULTRA за ~200 баксов, где даётся больше вычислений на один запрос. Если вы много работаете с текстами в чатах или даже их продаете клиентам, то не скупитесь на дорогие подписки.

Источник новости https://t.me/seokotenkov/663...