ОРМ — метод оценки качества поисковых систем¶
ОРМ (от англ. Online Research Method) — методика оценки качества результатов поисковых систем, разработанная российской компанией Яндекс. С 2015 года она является основным инструментом внутренней оценки поиска Яндекса и применяется для проверки качества выдачи перед запуском новых версий алгоритмов.
¶Суть методики
ОРМ представляет собой систему автоматизированной проверки поисковой выдачи. Методика анализирует, насколько точно поисковая система отвечает на пользовательские запросы, и оценивает качество результатов по шкале от 0 до 1. Проверка проводится на большой выборке запросов, охватывающих разные тематики и типы намерений пользователя.
В отличие от ручной оценки выдачи, где рецензенты вручную просматривают результаты поиска, ОРМ автоматически сопоставляет выдачу с эталонными ответами. Это позволяет обрабатывать миллионы запросов и получать статистически значимые результаты.
¶Принцип работы
Методика строится на сравнении выдачи поисковой системы с эталонной базой. Для каждого запроса формируется набор документов, которые должны быть найдены и отранжированы в определённом порядке. Система проверяет, насколько фактическая выдача совпадает с эталоном.
Ключевые элементы ОРМ:
- Запросы — реальные поисковые запросы пользователей, обезличенные и отобранные по частотности и тематикам.
- Эталонные ответы — документы, которые, по мнению экспертов, наиболее полно и точно отвечают на запрос.
- Метрики качества — числовые показатели, отражающие степень совпадения выдачи с эталоном (например, доля документов в топе, которые должны там быть).
Итоговый балл ОРМ отражает среднее качество выдачи по всей выборке запросов. Новая версия алгоритма запускается в продакшн только в том случае, если её показатели ОРМ не ухудшаются по сравнению с текущей версией.
¶Применение в Яндексе
В Яндексе ОРМ используется на всех этапах разработки поисковых алгоритмов. Перед каждым запуском новой версии поиска команда проводит серию тестов, включающих проверку по ОРМ. Если новая версия показывает снижение качества хотя бы по одной из ключевых метрик, она дорабатывается или откладывается.
Методика позволяет выявлять проблемные группы запросов — например, запросы, для которых качество выдачи деградировало после изменений в ранжировании. Это помогает быстро находить и исправлять ошибки.
Помимо ОРМ, в Яндексе применяются и другие методы оценки качества, включая ручную проверку выдачи силами редакции и автоматические A/B-тесты на живом трафике.
¶Ограничения
ОРМ, как и любая автоматизированная методика, имеет ограничения. Она оценивает совпадение с заранее заданным эталоном, который формируется на основе экспертных суждений. Если эталон составлен с ошибками, методика может занизить или завысить качество выдачи.
Кроме того, ОРМ не учитывает контекст конкретного пользователя: один и тот же запрос может иметь разные интерпретации, и универсальный эталон не всегда корректно отражает все варианты.
¶Связанные методики
В индустрии поисковых систем существуют и другие подходы к оценке качества:
- TREC (Text REtrieval Conference) — международная конференция и набор тестовых коллекций для оценки информационного поиска, проводимая NIST (США) с 1992 года.
- NDCG (Normalized Discounted Cumulative Gain) — метрика, оценивающая качество ранжирования документов с учётом их позиции в выдаче.
- Click-through rate (CTR) — доля кликов по результатам выдачи, используемая как косвенный показатель их качества.
ОРМ близка к методикам, применяемым в академическом информационном поиске, но адаптирована под масштабы коммерческой поисковой системы и специфику русскоязычных запросов.
¶История
Методика ОРМ была разработана внутри Яндекса в середине 2010-х годов. Её появление связано с необходимостью систематической и воспроизводимой оценки качества поиска при быстром росте объёма запросов и частоты обновлений алгоритмов. До внедрения ОРМ оценка качества в значительной степени опиралась на ручную проверку, что было трудоёмко и не масштабировалось.
С внедрением ОРМ процесс оценки качества поиска в Яндексе стал преимущественно автоматическим, что ускорило цикл разработки и позволило уверенно запускать обновления, не опасаясь скрытой деградации качества.
¶Источники
- Официальный блог Яндекса
- Материалы конференции Яндекс I/O
- Публикации исследовательской группы Яндекса по информационному поиску