Открыть сервисСервис

Ранжирование — понятие и применение

Ранжирование — это упорядочивание набора объектов (страниц, документов, товаров, участников) по степени их соответствия заданному критерию или запросу. В информационных системах под ранжированием обычно понимают процесс присвоения элементам позиций в выдаче поисковой системы или рекомендательной системы: результаты сортируются от наиболее релевантных к наименее релевантным. Термин происходит от англ. rank — «ранг, звание, положение в иерархии».

Ранжирование в поисковых системах

Основное применение термина связано с поисковыми системами. Когда пользователь вводит запрос, поисковая система формирует список документов, которые могут содержать ответ, а затем сортирует их по убыванию релевантности. Ранжирование отвечает на вопрос: «какой документ стоит на первом месте, а какой — на десятом».

Качество ранжирования напрямую определяет удобство поиска: если наиболее полезный документ окажется на пятой странице выдачи, пользователь, как правило, его не найдёт. Поэтому алгоритмы ранжирования являются одним из ключевых компонентов поисковых систем — наряду с индексацией и самим поиском по индексу.

Основные подходы к ранжированию

Лексические модели

Классический подход основан на подсчёте совпадений между запросом и документом. К числу таких методов относятся:

  • TF-IDF (term frequency — inverse document frequency) — оценивает важность слова в документе по частоте его встречаемости в документе и редкости в корпусе;
  • BM25 (Best Matching 25) — улучшенная версия TF-IDF, учитывающая длину документа и насыщенность термами; широко используется в информационном поиске;
  • Boolean-модели — строят выдачу на основе логических операций «И», «ИЛИ», «НЕ»; документ либо удовлетворяет запросу, либо нет, без градации релевантности.

Статистические и машинно-обучающие модели

Современные поисковые системы используют алгоритмы машинного обучения, которые обучаются на размеченных данных — парах «запрос — документ» с экспертной оценкой релевантности. К таким моделям относятся:

Факторы ранжирования

Помимо текстового соответствия, поисковые системы учитывают дополнительные факторы:

  • Популярность и ссылочный профиль — количество и качество внешних ссылок на страницу;
  • Поведенческие сигналы — клики, время на странице, возвраты в выдачу;
  • Технические характеристики — скорость загрузки, мобильная адаптация, наличие HTTPS;
  • Географическая и языковая релевантность — соответствие языку запроса и региону пользователя;
  • Актуальность — свежесть контента для тем, где это важно (новости, погода).

Ранжирование в других областях

Рекомендательные системы

В рекомендациях ранжирование определяет порядок предложений для пользователя: товаров в интернет-магазине, фильмов на стриминговом сервисе, новостей в ленте. Задача формально схожа с поисковой, но запрос часто не задан явно — система строит предсказание на основе истории поведения.

Информационный поиск и NLP

В задачах обработки естественного языка ранжирование применяется при ответах на вопросы, извлечении фактов, кластеризации результатов. Методы включают переобучение (re-ranking) — уточнение порядка уже отобранных кандидатов более точной, но вычислительно дорогой моделью.

Соревновательные системы и рейтинги

Вне ИТ ранжирование используется при построении рейтингов: спортивных таблиц, университетских рейтингов, позиций в поисковой выдаче для SEO-специалистов. В спорте применяются системы Elo, Glicko и их вариации, оценивающие силу участников по результатам очных встреч.

Метрики качества ранжирования

Эффективность алгоритмов оценивается специальными метриками:

МетрикаЧто измеряет
Precision@kДоля релевантных документов среди k первых
Recall@kДоля найденных релевантных документов в топ-k
MRR (Mean Reciprocal Rank)Среднее обратное значение позиции первого релевантного результата
NDCG (Normalized Discounted Cumulative Gain)Учитывает степень релевантности и штрафует за низкие позиции
MAP (Mean Average Precision)Среднее значение точности на всех позициях с релевантными документами

Метрики NDCG и MAP являются стандартом в информационном поиске и широко используются в соревнованиях (например, в TREC, Kaggle).

Значение ранжирования

Ранжирование определяет, какой контент видит пользователь в первую очередь. Для владельцев сайтов порядок в выдаче влияет на трафик: по данным различных исследований, доля кликов на первые позиции поисковой выдачи многократно превышает долю кликов на позициях ниже первой страницы. Это делает ранжирование предметом как технического интереса (разработка алгоритмов), так и практического — в области поисковой оптимизации (SEO).

Источники:

  • Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval. — Cambridge University Press, 2008.
  • Соколов А. В. Введение в информационный поиск. — М.: Физматлит, 2017.
  • Liu T.-Y. Learning to Rank for Information Retrieval // Foundations and Trends in Information Retrieval. — 2009. — Vol. 3, № 3.
  • Яндекс. Технологии поиска и рекомендаций. — Материалы официальных публикаций.
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru