Zephyr

Zephyr — это семейство открытых больших языковых моделей (LLM), разработанное компанией Hugging Face (организация не признана экстремистской или террористической в РФ) в сотрудничестве с исследователями из других организаций. Модели Zephyr предназначены для генерации текста, ответов на вопросы, ведения диалогов и выполнения других задач обработки естественного языка. Отличительной особенностью семейства является использование метода обучения с подкреплением на основе обратной связи от человека (RLHF) и его упрощённой версии — Direct Preference Optimization (DPO), что позволяет достигать высокой степени согласованности с пользовательскими предпочтениями при относительно небольшом размере модели.

История

Разработка семейства Zephyr началась в 2023 году как часть исследовательской программы Hugging Face по созданию эффективных и доступных языковых моделей. Первая версия, Zephyr-7B-α (альфа), была выпущена в июле 2023 года. Она базировалась на модели Mistral 7B, разработанной компанией Mistral AI, и обучалась с использованием метода DPO на наборе данных предпочтений, собранных сообществом. Основной целью было продемонстрировать, что небольшие модели (7 миллиардов параметров) могут конкурировать с более крупными аналогами, если их правильно настроить.

В августе 2023 года вышла улучшенная версия — Zephyr-7B-β (бета). В этой версии был расширен набор обучающих данных, улучшен процесс фильтрации и добавлены дополнительные этапы обучения. Модель показала результаты, сопоставимые с моделями в 10 раз большего размера (например, LLaMA 2 70B) в некоторых бенчмарках, таких как MT-Bench и AlpacaEval, что привлекло значительное внимание сообщества.

В 2024 году Hugging Face выпустила Zephyr-141B-A39B — модель с архитектурой Mixture of Experts (MoE), основанную на Mistral 8x22B. Эта версия значительно превосходит предыдущие по качеству, но требует больше вычислительных ресурсов. Разработка семейства продолжается, и новые версии выходят по мере совершенствования методов обучения и появления более мощных базовых моделей.

Архитектура и принцип работы

Базовая архитектура

Модели Zephyr построены на архитектуре трансформера (Transformer) — стандартной архитектуре для современных LLM. В основе лежит декодер, который предсказывает следующее слово (токен) в последовательности, основываясь на предыдущих. Ключевые компоненты:

• Многослойный перцептрон (MLP): блоки нейронных сетей, обрабатывающие информацию.
• Механизм самовнимания (Self-Attention): позволяет модели учитывать контекст всех предыдущих слов при генерации текущего.
• Нормализация слоёв (Layer Normalization): стабилизирует обучение.
• Позиционное кодирование: указывает модели порядок слов.

Обучение с подкреплением на основе обратной связи от человека (RLHF)

Zephyr использует модифицированную версию RLHF, называемую Direct Preference Optimization (DPO). В отличие от классического RLHF, где сначала обучается модель вознаграждения, а затем оптимизируется политика (сама языковая модель), DPO напрямую оптимизирует модель на основе пар предпочтений (какой ответ лучше, какой хуже). Это упрощает процесс обучения и снижает вычислительные затраты.

Процесс обучения включает три этапа:

1. Предварительное обучение (Pre-training): базовая модель (например, Mistral 7B) обучается на огромном корпусе текстов из интернета.
2. Инструктивное обучение (Instruction Tuning): модель дообучается на наборах данных, содержащих пары «инструкция — ответ». Это учит модель следовать инструкциям.
3. Обучение предпочтениям (Preference Tuning): с помощью DPO модель обучается выбирать ответы, которые предпочитают люди, на основе набора данных с ранжированными ответами.

Размеры и версии

Семейство Zephyr включает несколько моделей, различающихся по размеру и архитектуре:

Применение

Благодаря открытому коду и лицензии, разрешающей коммерческое использование (Apache 2.0 для большинства версий), Zephyr нашёл широкое применение в различных областях:

• Чат-боты и виртуальные ассистенты: модели используются для создания диалоговых систем, способных поддерживать осмысленную беседу.
• Генерация контента: написание текстов, статей, писем, сценариев.
• Обработка запросов: ответы на вопросы, извлечение информации, суммаризация текстов.
• Образование: создание учебных материалов, объяснение сложных концепций, помощь в обучении.
• Научные исследования: анализ данных, генерация гипотез, написание кода (в меньшей степени, чем специализированные модели).
• Разработка программного обеспечения: помощь в написании и отладке кода, генерация документации.

Преимущества и недостатки

Преимущества

• Высокая производительность при малом размере: Zephyr-7B-β демонстрирует результаты, сопоставимые с моделями в 10 раз большего размера, что позволяет запускать её на относительно слабом оборудовании (например, на одной видеокарте с 16 ГБ памяти).
• Открытый исходный код: модели доступны для скачивания, модификации и коммерческого использования, что способствует развитию сообщества и научных исследований.
• Эффективность обучения: метод DPO позволяет достичь хороших результатов без сложной инфраструктуры для обучения модели вознаграждения.
• Хорошая согласованность: модели обучены с учётом предпочтений человека, что делает их ответы более полезными и релевантными.

Недостатки

• Ограниченный размер контекста: ранние версии (7B) имели контекстное окно в 4096 токенов, что ограничивает работу с длинными текстами. Более поздние версии (141B) поддерживают до 32768 токенов.
• Ограниченные знания: модели не имеют доступа к актуальной информации после даты окончания обучения (например, Zephyr-7B-β обучена на данных до 2023 года).
• Возможность галлюцинаций: как и все LLM, Zephyr может генерировать правдоподобные, но фактически неверные сведения.
• Чувствительность к формулировке запроса: качество ответа сильно зависит от того, как сформулирован вопрос или инструкция.
• Отсутствие мультимодальности: модели работают только с текстом, не поддерживают изображения или аудио.

Влияние и критика

Zephyr оказал значительное влияние на сообщество разработчиков открытых языковых моделей. Он продемонстрировал, что небольшие, хорошо настроенные модели могут быть конкурентоспособными, что стимулировало развитие методов эффективного обучения (DPO, ORPO, KTO). Модель стала популярной для создания специализированных чат-ботов и ассистентов, а также для исследовательских целей.

Критика в адрес Zephyr в основном связана с общими проблемами LLM: потенциальная предвзятость в обучающих данных, возможность генерации вредоносного или оскорбительного контента, а также экологические затраты на обучение даже небольших моделей. Также отмечается, что, несмотря на высокие показатели в бенчмарках, модель может не всегда соответствовать ожиданиям пользователей в реальных сценариях.

Источники

• Hugging Face. (2023). Zephyr: Direct Distillation of LM Alignment.
• Tunstall, L., Beeching, E., Lambert, N., Rajani, N., Sanseviero, O., & Wolf, T. (2023). Zephyr: Direct Distillation of LM Alignment. arXiv preprint arXiv:2310.16944.
• Hugging Face. (2024). Zephyr-141B-A39B: A Mixture of Experts Model.
• Документация Hugging Face по моделям Zephyr.
• Статья на Hugging Face Blog: "Zephyr 7B: A New Era for Open Source LLMs".