Гибридный поиск

Гибридный поиск — это метод информационного поиска, сочетающий в себе два или более различных подхода к ранжированию и извлечению данных, как правило, лексический (основанный на точном совпадении ключевых слов) и семантический (основанный на понимании смысла запроса с помощью векторных представлений). Цель гибридного поиска — преодолеть ограничения каждого из методов по отдельности, обеспечивая высокую точность и полноту результатов, особенно в условиях неоднозначности запросов и разнообразия контента.

Принцип работы

Гибридный поиск объединяет результаты, полученные из разных поисковых систем или модулей, в единый ранжированный список. Основные этапы включают:

Параллельная обработка запроса. Один и тот же запрос пользователя одновременно направляется в два или более поисковых движка. Обычно это:

Лексический поиск (на основе BM25 или TF-IDF). Ищет точные совпадения слов запроса в тексте документов. Эффективен для поиска по именам собственным, кодам, точным цитатам и редким терминам.
Семантический (векторный) поиск. Преобразует запрос и документы в плотные векторные представления (эмбеддинги) с помощью нейросетевых моделей (например, BERT, SBERT, E5). Поиск осуществляется по косинусной близости или другим метрикам расстояния в многомерном векторном пространстве. Эффективен для поиска по смыслу, синонимам, концепциям и при обработке разговорных запросов.

Нормализация оценок. Поскольку каждый метод использует свою шкалу ранжирования (например, неограниченные значения BM25 и косинусное сходство от 0 до 1), полученные оценки релевантности приводятся к единому диапазону. Для этого применяются методы нормализации, такие как Z-score, Min-Max или плавная нормализация на основе сигмоидной функции.
Объединение результатов (Fusion). Нормализованные оценки из разных потоков комбинируются в единую финальную оценку для каждого документа. Наиболее распространённые стратегии:

Линейная комбинация (Weighted Sum). Финальная оценка вычисляется как взвешенная сумма оценок из каждого метода: S_final = w1 S_lexical + w2 S_semantic. Веса (w1, w2) подбираются эмпирически под конкретную задачу.
Комбинация на основе рангов (Reciprocal Rank Fusion, RRF). Не требует нормализации оценок. Финальная оценка документа вычисляется на основе его позиций (рангов) в каждом списке результатов: S_final = Σ (1 / (k + rank_i)), где k — константа (обычно 60). Этот метод устойчив к выбросам и прост в реализации.
Методы машинного обучения (Learning to Rank). Используются модели, обученные на исторических данных о кликах пользователей или экспертных оценках, чтобы предсказывать наилучший вес для каждого метода или даже комбинировать признаки из разных источников напрямую.

История и развитие

Концепция комбинирования разных методов поиска возникла ещё в 1990-х годах в рамках задач слияния результатов (Data Fusion) в распределённых информационных системах. Однако современное понимание гибридного поиска сформировалось в 2010-х годах с развитием нейросетевых моделей.

До 2010-х годов. Доминировал лексический поиск (BM25, TF-IDF). Эксперименты с комбинированием результатов разных лексических алгоритмов (например, BM25 и Language Model) показали умеренный прирост качества.
2013–2018 годы. Появление word2vec, GloVe и первых контекстуальных моделей (ELMo, BERT) позволило создавать семантические эмбеддинги. Начались эксперименты по замене лексического поиска семантическим, но последний часто проигрывал в точности на точных совпадениях.
С 2019 года. Выход модели BERT и её модификаций для поиска (DPR, ColBERT) привёл к осознанию, что наилучшие результаты достигаются при комбинировании лексического и семантического подходов. Крупные поисковые системы (Google, Bing) и платформы для работы с данными начали внедрять гибридные архитектуры. В 2022–2024 годах гибридный поиск стал стандартом де-факто для систем Retrieval-Augmented Generation (RAG), используемых в чат-ботах и корпоративных поисковиках.

Классификация методов гибридизации

Гибридные подходы можно классифицировать по способу взаимодействия между методами:

Ранняя гибридизация (Early Fusion). Векторные представления и лексические признаки объединяются на этапе индексации. Например, создаётся единый гибридный индекс, который содержит как слова, так и эмбеддинги. Это сложнее в реализации, но может быть быстрее на этапе поиска.
Поздняя гибридизация (Late Fusion). Каждый метод работает независимо, а результаты объединяются только на этапе ранжирования (как описано в разделе «Принцип работы»). Это наиболее распространённый подход, так как он позволяет использовать готовые, независимо настроенные движки.
Каскадная гибридизация (Cascade). Сначала применяется один метод (обычно быстрый лексический), который отсеивает большую часть нерелевантных документов. Затем к полученному подмножеству применяется более точный, но ресурсоёмкий семантический метод. Это эффективно для больших коллекций.

Применение

Поисковые системы общего назначения. Google, Яндекс и Bing используют гибридные подходы для интерпретации запросов. Например, для запроса «яблоко» система может выдать как результаты об одноимённом фрукте (семантическое понимание контекста), так и о компании Apple (лексическое совпадение с брендом).
Системы Retrieval-Augmented Generation (RAG). В RAG-пайплайнах гибридный поиск используется для извлечения релевантных фрагментов из базы знаний (документов, инструкций) перед передачей их в языковую модель. Это позволяет модели получать как точные факты (лексика), так и контекстную информацию (семантика).
Корпоративный поиск и поиск по документации. Позволяет находить документы как по точным номерам, реквизитам или кодам, так и по описанию проблемы или задачи.
Электронная коммерция. Поиск товаров, где необходимо учитывать как точные характеристики (артикул, модель), так и пожелания пользователя («красивое платье для вечеринки»).
Библиотечные и научные системы. Поиск по названиям, авторам (лексика) и по тематике или аннотации (семантика).

Преимущества и недостатки

Преимущества

Повышение полноты (Recall). Находятся документы, которые не содержат точных слов запроса, но релевантны по смыслу.
Повышение точности (Precision). Снижается количество шума, так как лексический поиск отсеивает семантически близкие, но нерелевантные по факту документы.
Устойчивость к ошибкам. Гибридный поиск лучше справляется с опечатками, синонимами и многозначностью слов.
Гибкость. Возможность настройки весов под конкретные задачи (например, приоритет точности в юридических документах или приоритет смысла в новостях).

Недостатки

Сложность реализации. Требуется настройка и интеграция двух разных поисковых систем, а также механизма нормализации и слияния.
Вычислительные затраты. Необходимо выполнять два поиска вместо одного, что увеличивает время ответа и потребление ресурсов (особенно для семантического поиска на больших коллекциях).
Настройка параметров. Подбор оптимальных весов и констант (например, k в RRF) требует экспериментов и может быть специфичен для каждого набора данных.
Проблема «шума». При неправильной настройке весов семантический поиск может привносить много нерелевантных результатов, снижая общее качество.

Интересные факты

Концепция гибридного поиска лежит в основе работы многих современных поисковых ассистентов. Например, поиск в Windows 11 использует комбинацию традиционного индексирования и семантического поиска для локальных файлов.
В задачах RAG с использованием больших языковых моделей (LLM), гибридный поиск часто даёт значительно более качественные ответы, чем любой из методов по отдельности, так как модель получает более релевантный и разнообразный контекст.
Некоторые современные базы данных (например, PostgreSQL с расширением pgvector, Elasticsearch, Qdrant, Weaviate) имеют встроенную поддержку гибридного поиска, позволяя выполнять лексический и векторный запросы в одном запросе.

Источники

Baeza-Yates, R., & Ribeiro-Neto, B. (2011). Modern Information Retrieval: The Concepts and Technology behind Search. Addison-Wesley.
Robertson, S. E., & Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval, 3(4), 333–389.
Cormack, G. V., Clarke, C. L. A., & Buettcher, S. (2009). Reciprocal rank fusion outperforms condorcet and individual rank learning methods. Proceedings of the 32nd International ACM SIGIR Conference on Research and Development in Information Retrieval, 758–759.
Karpukhin, V., Oğuz, B., Min, S., Lewis, P., Wu, L., Edunov, S., ... & Yih, W. T. (2020). Dense Passage Retrieval for Open-Domain Question Answering. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 6769–6781.
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., ... & Kiela, D. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, 33, 9459–9474.

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →