Использование Reciprocal Rank Fusion (RRF) в поиске на базе ИИ...

212

Использование Reciprocal Rank Fusion (RRF) в поиске на базе ИИ — это важный сигнал, но это компонент раннего этапа, а не конечный механизм ранжирования.

RAG (Retrieval-Augmented Generation) промышленного уровня работает как сложный 5-этапный пайплайн обработки данных.

1. Мультимодальное извлечение

Для генерации документов-кандидатов одновременно выполняются запросы в рамках нескольких парадигм:

— Лексическая: на основе ключевых слов (BM25).

— Векторная: на основе семантики/интента.

— Структурированная/графовая: SQL/Cypher-запросы для получения фактологических данных.

2. Слияние

Топ-k результатов из каждого потока извлечения усекаются.

Затем используется RRF для объединения этих разрозненных ранжированных списков в один, единый список.

В этом и заключается основная функция RRF: формирование воронки кандидатов на раннем этапе.

3. Курирование и уточнение

Объединенный список очищается:

— Семантическая дедупликация: удаляет практически дублированный контент.

— Кластеризация по хостам и диверсификация: группирует результаты по доменам для обеспечения разнообразия источников. Результат с высоким баллом RRF может быть отфильтрован на этом этапе, если его домен чрезмерно представлен.

4. Извлечение и чанкинг пассажей

Система извлекает контент из документов с самым высоким рейтингом и разбивает его на семантически связные пассажи.

Единицей анализа становятся не документы, а фрагменты текста (чанки).

5. Переранжирование с помощью Cross-Encoder

Это финальная, вычислительно затратная проверка релевантности.

Модель cross-encoder анализирует запрос пользователя по отношению к каждому отдельному *пассажу* текста для получения высокоточной оценки релевантности.

Именно финальные пассажи, а не документы, используются большой языковой моделью (LLM) для синтеза ответа и предоставления ссылок на источники.

Пассаж из документа с посредственной оценкой RRF на этом этапе может быть переранжирован на первое место.

Эта модель объясняет найденные артефакты кода:

— webpage: "сырой" результат с этапа 1.

— grouped_webpages: результат кластеризации по хостам с этапа 3.

— webpage_extended: обогащенный объект с этапа 4, содержащий извлеченные пассажи для переранжирования на этапе 5.

https://www.linkedin.com/pulse/beyond-hype-deconstructing-real-architecture-ai-search-geraci-e6ejc/

@MikeBlazerX