Открыть сервисСервис

Релевантность — понятие информационного поиска

Релевантность — мера соответствия документа (информационного ресурса) запросу пользователя в системах информационного поиска. Понятие определяет, насколько найденный материал отвечает информационной потребности, которая стоит за поисковым запросом. Релевантность является центральным понятием информатики, библиотековедения, лингвистики и кибернетики и лежит в основе работы поисковых машин, рекомендательных систем, систем автоматической классификации и оценки качества ответов языковых моделей.

История понятия

Термин «релевантность» (от англ. relevant — «относящийся к делу», «соответствующий») пришёл в информатику из библиотековедения и документации в 1950-х годах, в период становления автоматизированных информационно-поисковых систем. В 1957 году библиотековед Кент и его коллеги ввели различие между precision (точностью) и recall (полнотой) — двумя ключевыми метриками, неразрывно связанными с оценкой релевантности.

В 1960-е годы в работах С. Э. Робертсона, К. Спарка-Джонса и других исследователей были предложены математические модели оценки релевантности, включая вероятностную модель (probabilistic model) и булеву модель информационного поиска. В 1970-е годы появились первые корпуса документов с размеченной релевантностью (например, TREC — Text REtrieval Conference, запущен в 1992 году), которые стали стандартом для сравнения поисковых алгоритмов.

Основные определения

В информационном поиске принято различать несколько связанных понятий:

  • Релевантность документа — соответствие содержания документа запросу пользователя.
  • Релевантность запроса — соответствие формулировки запроса реальной информационной потребности пользователя (введено С. Э. Робертсоном в 1977 году).
  • Актуальность (англ. recency, freshness) — своевременность информации, часто выделяемая как отдельный критерий наряду с релевантностью.

Релевантность — субъективное понятие: один и тот же документ может быть релевантным для одного пользователя и нерелевантным для другого. Поэтому в теории информационного поиска принято говорить о степени релевантности (relevance degree), а не о бинарном «релевантен / не релевантен».

Модели оценки релевантности

Булева модель

Документ либо полностью релевантен запросу, либо нет. Наиболее простая модель, реализуемая через логику «И», «ИЛИ», «НЕ». Использовалась в ранних поисковых системах, ныне применяется в основном в поиске по точным фразам.

Векторная модель (TF-IDF)

Документ и запрос представляются как векторы в многомерном пространстве терминов. Релевантность определяется косинусным сходством между векторами. Параметр TF (term frequency) учитывает частоту слова в документе, IDF (inverse document frequency) — редкость слова в корпусе. Модель предложена Г. Салтоном в 1970-х годах и остаётся базовой для многих поисковых систем.

Вероятностная модель

Основана на теории Байеса: для каждого документа вычисляется вероятность того, что он релевантен запросу. Классическая реализация — BM25 (Best Matching 25), предложенная С. Э. Робертсоном и К. Спарка-Джонс в 1990-х годах. BM25 и её модификации используются в поисковых системах Яндекса, Elasticsearch, Lucene и других.

Нейросетевые модели

С 2010-х годов для оценки релевантности применяются нейросетевые модели: BERT, Sentence-BERT, ColBERT и их производные. Они учитывают контекст и семантику слов, а не только их частоту. Модели предобучения на парах «запрос — документ» (cross-encoder) показывают более высокую точность, чем классические методы, но требуют существных вычислительных ресурсов.

Метрики оценки

Качество оценки релевантности измеряется стандартными метриками:

МетрикаОписание
Precision (точность)Доля релевантных документов среди всех найденных
Recall (полнота)Доля найденных релевантных документов от общего числа релевантных
F1-мераГармоническое среднее precision и recall
MAP (Mean Average Precision)Среднее значение средней точности по всем запросам
NDCG (Normalized Discounted Cumulative Gain)Учитывает позицию релевантного документа в выдаче

Все перечисленные метрики требуют предварительной разметки — экспертной оценки релевантности документов, что является трудоёмким процессом и ограничивает масштабирование оценки.

Применение

Релевантность лежит в основе работы:

  • Поисковых машин — ранжирование результатов поиска по запросу (Яндекс, Google, Bing).
  • Рекомендательных систем — подбор контента на основе истории поведения пользователя.
  • Систем автоматической классификации — отнесение документа к категории.
  • Чат-ботов и языковых моделей — оценка качества сгенерированного ответа на запрос (в том числе в RAG-системах — retrieval-augmented generation).
  • Библиотечных каталогов — подбор литературы по тематическому запросу.

В российской информационной индустрии оценка релевантности применяется в поисковых системах Яндекса (модель «Палех», нейросетевое ранжирование), в системах e-Science и в отраслевых поисковых решениях.

Критика и ограничения

Понятие релевантности критикуется за субъективность: формализация информационной потребности пользователя через поисковый запрос неизбежно искажает её. Исследователи библиотековедения (Т. Д. Уилсон, П. Ингверсен) указывают, что релевантность — динамическое свойство: документ, релевантный в момент поиска, может перестать быть им со временем. Дополнительную сложность представляет проблема «языкового разрыва» — расхождения между терминологией запроса и документа.

Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru