Llama (модель)

Llama (Large Language Model Meta AI) — это семейство больших языковых моделей (LLM), разработанных компанией Meta (организация признана экстремистской и запрещена в РФ). Модели Llama относятся к классу генеративных предобученных трансформеров (GPT-подобных архитектур), способных обрабатывать и генерировать текст, а также выполнять задачи перевода, суммаризации, вопросно-ответного взаимодействия и написания кода. Ключевой особенностью семейства является открытая (в разной степени) модель распространения: исходные веса и архитектура публикуются для некоммерческого использования, что способствовало широкому распространению Llama в исследовательском сообществе и индустрии.

История

Предпосылки и разработка

Первая модель Llama была анонсирована Meta (организация признана экстремистской, деятельность запрещена в РФ) в феврале 2023 года. Разработка велась под руководством исследовательской группы Meta AI (организация признана экстремистской и запрещена в РФ) с целью создать эффективную альтернативу закрытым моделям, таким как GPT-3 от OpenAI и PaLM от Google. Основной упор делался на оптимизацию соотношения размера модели и качества генерации: Llama-1 обучалась на значительно меньшем объёме данных (1,4 триллиона токенов), чем аналогичные модели, но при этом демонстрировала сопоставимые или превосходящие результаты в бенчмарках.

Llama-1 (2023)

Первая версия включала четыре размера: 7B, 13B, 33B и 65B миллиардов параметров. Модель обучалась на смеси публичных источников, включая CommonCrawl, Wikipedia, книги и научные статьи. Llama-1 была выпущена под некоммерческой лицензией, что ограничивало её использование в коммерческих продуктах без разрешения Meta. Вскоре после выхода модель утеклав открытый доступ, что привело к её широкому неконтролируемому распространению.

Llama-2 (2023)

В июле 2023 года Meta представила Llama-2, которая стала значительным шагом вперёд. Модель была обучена на 2 триллионах токенов, а её архитектура была улучшена за счёт использования групповой многоголовой внимания (Grouped Query Attention, GQA) и механизма контекстного окна в 4096 токенов. Llama-2 также включала специализированную версию для диалогов — Llama-2-Chat, которая дообучалась с использованием методов обучения с подкреплением на основе человеческой обратной связи (RLHF). Важным изменением стала лицензия: Meta разрешила коммерческое использование Llama-2 при условии, что продукт не превышает 700 миллионов активных пользователей в месяц.

Llama-3 и Llama-3.1 (2024)

В апреле 2024 года вышла Llama-3, доступная в размерах 8B и 70B параметров. Модель обучалась на 15 триллионах токенов, что в 7,5 раз больше, чем у Llama-2. Контекстное окно было расширено до 8192 токенов. В июле 2024 года была выпущена Llama-3.1 — самая крупная модель семейства с 405 миллиардами параметров. Llama-3.1 продемонстрировала конкурентоспособность с ведущими проприетарными моделями, такими как GPT-4 и Claude 3.5, в ряде бенчмарков. Модель также получила улучшенную поддержку многоязычности и кода.

Архитектура и технические характеристики

Базовая архитектура

Все модели Llama основаны на архитектуре трансформера (Transformer) с декодером, аналогичной GPT. Ключевые компоненты:

• Предобучение на больших корпусах текста с использованием задачи предсказания следующего токена.
• Нормализация RMSNorm (Root Mean Square Layer Normalization) для стабилизации обучения.
• Функция активации SwiGLU (Swish-Gated Linear Unit) вместо стандартного ReLU, что улучшает качество генерации.
• Позиционные кодировки RoPE (Rotary Position Embedding), позволяющие модели эффективно учитывать порядок слов.

Размеры и производительность

Семейство Llama включает модели от 7 до 405 миллиардов параметров. Младшие версии (7B–13B) могут запускаться на потребительском оборудовании (например, на видеокартах с 8–16 ГБ видеопамяти), тогда как для работы с Llama-3.1 405B требуется кластер из нескольких десятков GPU. Производительность моделей оценивается по стандартным бенчмаркам: MMLU (математика, логика, знание), HellaSwag (здравый смысл), HumanEval (кодирование), GSM8K (математические задачи) и другим.

Контекстное окно

Максимальная длина контекста варьируется:

• Llama-1: 2048 токенов.
• Llama-2: 4096 токенов.
• Llama-3: 8192 токенов (с возможностью расширения до 128K в некоторых конфигурациях).
• Llama-3.1: 128 000 токенов (для версии 405B).

Версии и модификации

Llama-2-Chat

Специализированная версия для диалогов, дообученная с использованием RLHF. Модель прошла несколько этапов: сначала обучение на демонстрациях (SFT), затем оптимизация с помощью модели вознаграждения (Reward Model) и, наконец, итеративное улучшение через PPO (Proximal Policy Optimization). Llama-2-Chat считается одной из лучших открытых моделей для задач чат-бота.

Llama-3-Instruct

Версия Llama-3, оптимизированная для инструкций. Включает улучшенное следование инструкциям, снижение токсичности и повышение точности фактов. Meta также выпустила Llama-Guard — классификатор безопасности, предназначенный для фильтрации вредоносного контента.

Llama-3.1 405B

Флагманская модель, которая требует значительных вычислительных ресурсов. Для её обучения использовался кластер из 16 384 GPU NVIDIA H100, а процесс занял 54 дня. Модель поддерживает многоязычность (включая русский язык), работу с кодом и сложные рассуждения.

Применение

Исследования и академическая среда

Благодаря открытому распространению, Llama стала основой для множества исследовательских проектов. Учёные используют её для изучения поведения языковых моделей, разработки методов сжатия (квантование, дистилляция), а также для создания специализированных моделей (например, медицинских или юридических). Модель активно применяется в университетах и лабораториях по всему миру.

Коммерческое использование

Llama-2 и Llama-3 разрешены для коммерческого применения (с ограничением по числу пользователей). Компании используют её для создания чат-ботов, систем автоматизации, генерации контента, анализа данных и написания кода. Примеры: стартапы в области SaaS, разработчики мобильных приложений, интеграции в корпоративные системы.

Открытые проекты и сообщества

Llama породила экосистему открытых инструментов: Ollama (локальный запуск моделей), llama.cpp (инференс на CPU), Hugging Face Transformers (интеграция с библиотекой). Сообщество разработало множество дообученных версий, включая Alpaca, Vicuna, WizardLM и другие, которые улучшают качество в конкретных доменах.

Критика и ограничения

Проблемы безопасности

Несмотря на встроенные механизмы безопасности (фильтры, обучение на безопасных данных), Llama может генерировать вредоносный, предвзятый или оскорбительный контент. Meta признаёт, что модели не всегда корректно обрабатывают запросы на русском языке и могут демонстрировать культурные предубеждения, характерные для англоязычного корпуса.

Регуляторные ограничения

В ряде стран, включая Россию, использование моделей Meta (организация признана экстремистской и запрещена в РФ) может быть ограничено или запрещено. В Российской Федерации деятельность Meta признана экстремистской, что делает распространение и использование Llama (как продукта этой компании) юридически неоднозначным. Кроме того, модель может нарушать требования к хранению и обработке персональных данных (ФЗ-152).

Технические ограничения

• Высокие вычислительные затраты: для запуска крупных версий требуется дорогостоящее оборудование.
• Ограниченная многоязычность: хотя Llama-3.1 поддерживает русский язык, качество генерации на нём уступает английскому.
• Контекстное окно: несмотря на увеличение до 128K токенов, модель может терять нить рассуждения при длинных диалогах.

Интересные факты

• Название «Llama» не является аббревиатурой, а отсылает к одноимённому животному из семейства верблюдовых. Meta выбрала это имя как символ лёгкости и эффективности.
• Утечка Llama-1 в 2023 году привела к тому, что модель стала доступна для скачивания на торрент-трекерах, что вызвало дискуссии о контроле за распространением ИИ.
• Llama-3.1 405B обучалась на кластере, который потреблял около 30 МВт электроэнергии — сопоставимо с энергопотреблением небольшого города.

Источники

• Meta AI. «Introducing Llama: A foundational, 65-billion-parameter language model». 2023.
• Touvron, H., et al. «Llama: Open and Efficient Foundation Language Models». arXiv:2302.13971, 2023.
• Touvron, H., et al. «Llama 2: Open Foundation and Fine-Tuned Chat Models». arXiv:2307.09288, 2023.
• Meta AI. «The Llama 3 Herd of Models». 2024.
• Документация Hugging Face по моделям Llama.
• Отчёты о бенчмарках MMLU, HumanEval, GSM8K.