Бенчмарк MMLU

MMLU (Massive Multitask Language Understanding) — это бенчмарк (набор тестовых заданий) для оценки качества больших языковых моделей (LLM), предназначенный для измерения способности модели решать задачи из различных областей знаний на уровне, сопоставимом с человеческим. Разработанный в 2020 году, MMLU стал одним из наиболее авторитетных и широко используемых стандартов для сравнения производительности языковых моделей, включая GPT, LLaMA, YandexGPT и другие.

История

Бенчмарк MMLU был представлен в 2020 году группой исследователей из Университета Калифорнии в Беркли, Колумбийского университета и компании Google Research. Основной целью разработчиков было создание более комплексного и сложного теста, чем существовавшие на тот момент бенчмарки (например, GLUE или SuperGLUE), которые в основном оценивали понимание отдельных предложений или коротких текстов. MMLU был задуман как тест на «мультизадачное понимание языка», охватывающий широкий спектр дисциплин.

Первоначальная версия бенчмарка включала 57 предметных областей, от элементарной математики до профессионального права. С момента публикации MMLU быстро завоевал популярность в академическом сообществе и индустрии. Он стал стандартным инструментом для сравнения моделей, таких как GPT-3, GPT-4, Gemini, Claude, а также российских разработок, например, YandexGPT и GigaChat. В 2023 году был выпущен обновлённый набор MMLU-Pro, который включал более сложные вопросы и увеличил общее количество заданий.

Структура и принцип работы

MMLU состоит из набора вопросов с множественным выбором (обычно 4 варианта ответа). Каждый вопрос относится к одной из 57 предметных категорий, которые делятся на четыре основные группы:

• Гуманитарные науки: история, философия, право, этика.
• Общественные науки: экономика, психология, политология, социология.
• Естественные науки: физика, химия, биология, медицина.
• Другие области: математика, компьютерные науки, инженерия, бизнес, медицина.

Формат вопросов

Вопросы в MMLU представлены в виде текстовых утверждений или коротких описаний, за которыми следует вопрос. Модель должна выбрать один правильный ответ из четырёх вариантов. Например:

Вопрос: Какое из следующих утверждений наиболее точно описывает концепцию «инфляции» в экономике?

A) Увеличение количества денег в обращении.

B) Рост общего уровня цен на товары и услуги.

C) Снижение покупательной способности валюты.

D) Увеличение государственных расходов.

Правильный ответ: B.

Оценка

Оценка модели производится по проценту правильных ответов (accuracy) на всём наборе вопросов. Для получения итогового результата модель должна продемонстрировать способность не только понимать язык, но и применять знания из различных дисциплин. Важно, что MMLU не требует от модели генерации длинных ответов — достаточно выбрать правильный вариант из предложенных.

Классификация и варианты

Существует несколько версий и модификаций бенчмарка MMLU:

• MMLU (оригинальный): 57 предметов, около 14 000 вопросов. Является базовым стандартом.
• MMLU-Pro: Расширенная версия, выпущенная в 2023 году. Включает более сложные вопросы, требующие глубоких знаний, и увеличивает количество предметов до 57, но с более строгим отбором. Также в MMLU-Pro добавлены вопросы с несколькими правильными ответами (multi-choice).
• MMLU-Math: Специализированный поднабор, фокусирующийся на математических задачах.
• MMLU-Clinical: Версия, адаптированная для оценки моделей в медицинской области.

Применение и значение

MMLU используется в нескольких ключевых целях:

1. Сравнение моделей: Позволяет объективно сравнивать производительность различных языковых моделей, включая коммерческие (GPT-4, Gemini, Claude) и открытые (LLaMA, Mistral, Qwen). Результаты MMLU часто публикуются в научных статьях и отчётах разработчиков.
2. Оценка прогресса: Служит индикатором общего прогресса в области NLP. Повышение точности на MMLU считается признаком улучшения способности модели к обобщению и рассуждению.
3. Тестирование на «общие знания»: В отличие от узкоспециализированных бенчмарков (например, для перевода или вопросно-ответных систем), MMLU оценивает широту знаний модели, что делает его полезным для оценки «интеллекта» модели в широком смысле.
4. Выявление слабых мест: Анализ результатов по отдельным предметам позволяет разработчикам понять, в каких областях модель показывает худшие результаты, и направить усилия на их улучшение.

Критика и ограничения

Несмотря на широкое признание, MMLU имеет ряд критических замечаний:

• Заучивание, а не понимание: Существует опасение, что модели могут «заучивать» ответы на вопросы, которые встречались в обучающих данных, а не демонстрировать истинное понимание. Это особенно актуально для моделей, обученных на огромных объёмах текстов из интернета, где многие вопросы MMLU могут быть уже представлены.
• Ограниченность формата: Формат множественного выбора не отражает реальных задач, где требуется генерация свободного текста, рассуждение или выполнение многошаговых действий.
• Культурная и языковая предвзятость: Вопросы MMLU в основном составлены на английском языке и основаны на западной образовательной системе. Это может давать преимущество моделям, обученным на англоязычных данных, и недооценивать модели, разработанные для других языков (например, для русского языка существуют аналогичные бенчмарки, такие как RuMMLU или Russian SuperGLUE).
• Устаревание: По мере развития моделей, многие из них достигают точности, близкой к 90% и выше, что снижает различительную способность бенчмарка. Это привело к созданию более сложных версий, таких как MMLU-Pro.

Интересные факты

• В 2023 году модель GPT-4 показала результат около 86% на MMLU, что было воспринято как значительный прорыв. Для сравнения, средний балл человека-эксперта в соответствующей области оценивается примерно в 90-95%.
• Некоторые модели, например, специализированные на математике, могут показывать результаты выше 90% на MMLU-Math, но значительно ниже на гуманитарных предметах.
• В России для оценки языковых моделей, таких как YandexGPT и GigaChat, часто используются адаптированные версии MMLU, переведённые на русский язык и дополненные вопросами из российской образовательной программы.

Источники

• Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
• Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv:1804.07461.
• Официальная документация бенчмарка MMLU (mmlu.io).
• Статья «MMLU-Pro: A More Robust and Challenging Benchmark for Language Understanding» (2023).