LTR — технология покрытий и алгоритмов¶

LTR (от англ. Learning to Rank — «обучение ранжированию») — класс методов машинного обучения, применяемых для решения задач ранжирования объектов по степени их релевантности запросу пользователя. Технология широко используется в поисковых системах, рекомендательных сервисах и системах информационного поиска для упорядочивания документов, веб-страниц, товаров и других элементов выдачи. Термин также может обозначать ряд других понятий: линейный трансформатор (Linear Transformer) в архитектурах нейросетей, маркировку «Left-Top-Right» в промышленности и обозначение «Laser Thermal Remodeling» в медицине, однако наиболее распространённым значением является именно методология ранжирования.

¶Постановка задачи

Классическая задача информационного поиска формулируется так: по заданному запросу $q$ и набору документов $D = \{d_1, d_2, \dots, d_n\}$ необходимо выстроить такую последовательность документов, чтобы наиболее релевантные запросу оказались в начале списка. Традиционные методы — BM25, TF-IDF — оценивают каждый документ независимо, используя статистические характеристики текста. LTR-подходы отличаются тем, что обучают модель предсказывать порядок документов, опираясь на совокупность признаков (features) и размеченные примеры предпочтений.

В качестве входных данных для обучения используются тройки «запрос — документ — метка релевантности». Метки могут быть бинарными (релевантен / не релевентен), ранговыми (степень релевантности) или группироваться по запросам — так называемые группы (queries), в рамках которых модели и сравниваются документы.

¶Подходы к обучению

В литературе по информационному поиску принято выделять три основных парадигмы LTR, различающиеся тем, на каком уровне строится функция потерь:

¶Pointwise (покоинтовый подход)

Модель обучается предсказывать релевантность каждого документа независимо, превращая задачу ранжирования в задачу классификации или регрессии. На вход подаётся отдельный запрос-документ, на выходе — оценка релевантности. Прост в реализации, но не учитывает взаимное расположение документов в выдаче.

¶Pairwise (парный подход)

Модель обучается предсказывать предпочтение одного документа другому в рамках одного запроса. Функция потерь строится на основе пар «документ $d_i$ релевантнее документа $d_j$». К таким методам относятся RankNet (Microsoft Research, 2005), RankBoost и LambdaRank. LambdaRank, предложенный в 2008 году, вводит поправки на изменение метрики качества (например, NDCG) при перестановке пары документов, что позволило существенно повысить качество ранжирования.

¶Listwise (построчный подход)

Модель оценивает качество ранжирования всего списка документов целиком. К таким методам относятся ListNet, AdaRank, SoftRank и LambdaMART. LambdaMART, сочетающий идеи LambdaRank с градиентным бустингом на деревьях решений, стал одним из наиболее широко применяемых алгоритмов LTR и неоднококазывал высокие результаты в соревнованиях по информационному поиску.

¶Основные алгоритмы

В российской практике алгоритмы LTR активно применяются в поисковых системах Яндекса и Mail.ru (с 2022 года — VK). Яндекс использовал методы машинного обучения при ранжировании выдачи начиная с 2000-х годов, а LambdaMART и его модификации применяются в коммерческих поисковых системах по всему миру.

¶Признаки (features)

Качество LTR-модели существенно зависит от набора признаков, описывающих связь запроса и документа. Типичные группы признаков:

• лексические: количество совпадений термов, BM25-оценка, расстояние между совпадениями;
• структурные: длина документа, позиция заголовков, URL-структура;
• поведенческие: кликабельность, время на странице, глубина просмотра;
• семантические: векторные представления запроса и документа (эмбеддинги);
• внешние: PageRank, авторитетность домена.

¶Применение

LTR-методы используются в поисковых системах для ранжирования веб-страниц, в рекомендательных системах — для подбора релевантных товаров и контента, в системах ответов на вопросы, при ранжировании кандидатов в подборе персонала. В России LTR-подходы применяются в поисковом движке Яндекса, в системах внутреннего корпоративного поиска, а также в задачах ранжирования вакансий на площадках поиска работы.

¶Оценка качества

Для оценки LTR-моделей используются метрики ранжирования, учитывающие позиции релевантных документов:

• NDCG (Normalized Discounted Cumulative Gain) — стандартная метрика информационного поиска;
• MAP (Mean Average Precision) — средняя точность;
• MRR (Mean Reciprocal Rank) — обратный ранг первого релевантного документа;
• ERR (Expected Reciprocal Rank).

¶История

Термин «Learning to Rank» вошёл в употребление в середине 2000-х годов после публикаций исследователей Microsoft Research и Yahoo!. Ранние работы по машинному обучению для ранжирования относятся к концу 1990-х годов (RankSVM, 2000). К 2010-м годам LTR стал стандартным компонентом коммерческих поисковых систем. С развитием трансформерных архитектур (BERT, 2018) появились нейросетевые модели ранжирования, такие как BERT4Passage и ColBERT, сочетающие LTR-подход с глубоким обучением.

¶Источники

• Liu, T.-Y. Learning to Rank for Information Retrieval. Foundations and Trends in Information Retrieval, 2009.
• Burges, C. From RankNet to LambdaRank to LambdaMART: An Overview. Microsoft Research Technical Report, 2010.
• Метрики ранжирования и соревнования по информационному поиску (TREC, Yandex relevance datasets).