Llama

Llama — это семейство больших языковых моделей (LLM) с открытым исходным кодом, разработанных компанией Meta (организация признана экстремистской и запрещена в РФ). Модели предназначены для генерации текста, выполнения инструкций, ведения диалогов и решения широкого круга задач обработки естественного языка (NLP). Отличительной особенностью Llama является относительно небольшой размер при высокой производительности, что делает их доступными для исследователей и разработчиков с ограниченными вычислительными ресурсами.

История

Предпосылки и разработка

До появления Llama доминирующие языковые модели, такие как GPT-3 от OpenAI, были проприетарными и доступными только через платный API. Meta (организация признана экстремистской и запрещена в РФ) стремилась создать модель, которая была бы открытой для научного сообщества, что позволило бы ускорить исследования в области ИИ. Разработка велась под руководством исследовательской группы Meta (организация признана экстремистской, деятельность запрещена в РФ) AI (организация признана экстремистской и запрещена в РФ), включая таких учёных, как Гийом Ламбль, Хьюго Туврон и Ян Лекун.

Llama 1 (2023)

Первая версия, Llama 1, была анонсирована в феврале 2023 года. Она выпускалась в четырёх размерах: 7B, 13B, 33B и 65B миллиардов параметров. Модель обучалась на общедоступных данных, включая CommonCrawl, C4, Wikipedia и книги. Llama 1 показала результаты, сопоставимые с GPT-3 (175B параметров) при значительно меньшем размере. Однако изначально модель распространялась только по запросу для академических целей, что вызвало критику за недостаточную открытость.

Llama 2 (2023)

В июле 2023 года Meta (организация признана экстремистской и запрещена в РФ) выпустила Llama 2, которая стала доступна для коммерческого использования под лицензией Llama 2 Community License. Модели были предварительно обучены на 2 триллионах токенов и дополнительно дообучены для диалогов (Llama 2-Chat). Размеры: 7B, 13B и 70B. Llama 2 превзошла большинство открытых моделей того времени и стала основой для многих специализированных доработок (fine-tuning).

Llama 3 и Llama 3.1 (2024)

В апреле 2024 года вышла Llama 3, доступная в размерах 8B и 70B. Модель обучалась на 15 триллионах токенов, что в 7,5 раз больше, чем у Llama 2. В июле 2024 года была представлена Llama 3.1 с размером 405B — крупнейшая открытая модель на тот момент. Llama 3.1 405B по ряду бенчмарков (MMLU, HumanEval) приблизилась к проприетарным моделям, таким как GPT-4 и Claude 3.5. Выход модели сопровождался обновлением лицензии, разрешающей использование результатов обучения (distillation) для улучшения других моделей.

Llama 4 (2025)

В апреле 2025 года была анонсирована Llama 4. Модель использует архитектуру Mixture of Experts (MoE), что позволяет активировать только часть параметров при обработке запроса, повышая эффективность. Llama 4 выпускается в размерах: Scout (17B активных параметров, 109B общих), Maverick (17B активных, 400B общих) и Behemoth (288B активных, 2 триллиона общих — в разработке). Модели поддерживают мультимодальность (текст и изображения) и имеют контекстное окно до 10 миллионов токенов (Scout).

Архитектура и технические характеристики

Базовая архитектура

Все модели Llama основаны на архитектуре трансформер (Transformer) с декодером (decoder-only). Ключевые особенности:

• Предварительная нормализация (Pre-normalization) с использованием RMSNorm.
• Функция активации SwiGLU (в Llama 2 и новее) или ReLU (в Llama 1).
• Позиционное кодирование Rotary Position Embeddings (RoPE).
• Групповая квантизация внимания (Grouped Query Attention, GQA) — в моделях от 70B и выше для снижения затрат памяти.

Размеры моделей и параметры

Обучение

Модели обучаются на больших корпусах текстов, собранных из общедоступных источников. Для Llama 3 использовалось 15 триллионов токенов, включая данные 30 языков (преимущественно английский, но также русский, китайский, испанский и др.). Обучение проводилось на кластерах GPU (NVIDIA A100, H100) с использованием фреймворка PyTorch и библиотеки Fairscale.

Возможности и применение

Генерация текста

Llama способна генерировать связные тексты на заданную тему, писать код, переводить, резюмировать и отвечать на вопросы. Модели демонстрируют высокое качество на стандартных бенчмарках:

• MMLU (Massive Multitask Language Understanding) — до 87,5% (Llama 3.1 405B).
• HumanEval (генерация кода) — до 89% (Llama 3.1 405B).
• GSM8K (математические задачи) — до 96% (Llama 3.1 405B).

Диалоговые системы

Версии с суффиксом «Chat» (например, Llama 2-Chat, Llama 3.1-Chat) специально дообучены для ведения диалогов с использованием техник RLHF (Reinforcement Learning from Human Feedback). Они способны следовать инструкциям, поддерживать контекст беседы и избегать вредных или неэтичных ответов.

Мультимодальность (Llama 4)

Llama 4 поддерживает обработку изображений и текста одновременно. Модель может анализировать изображения, отвечать на вопросы по их содержанию, генерировать подписи и выполнять задачи визуального понимания.

Сферы применения

• Научные исследования — изучение поведения LLM, тестирование новых методов обучения.
• Разработка ПО — автодополнение кода, генерация документации, отладка.
• Образование — создание учебных материалов, автоматическая проверка заданий.
• Бизнес — чат-боты для поддержки клиентов, анализ текстов, генерация контента.
• Медицина — анализ медицинских записей, помощь в диагностике (с осторожностью, требуется верификация).

Лицензирование и доступность

Llama 2 Community License

Llama 2 распространяется под специальной лицензией, которая разрешает:

• Использование, копирование, модификацию и распространение модели.
• Коммерческое использование, если количество активных пользователей в месяц не превышает 700 миллионов.
• Запрет на использование для нарушения законов, включая создание вредоносного ПО, спама и нарушение конфиденциальности.

Llama 3 и 3.1 License

Лицензия Llama 3.1 дополнительно разрешает использование результатов обучения (distillation) для улучшения других моделей, что ранее было запрещено. Для коммерческого использования также действует ограничение в 700 миллионов активных пользователей.

Llama 4 License

Лицензия Llama 4 сохраняет основные положения, но добавляет пункты о мультимодальных данных и ответственности за использование модели в системах, работающих с изображениями.

Критика и ограничения

Проблемы безопасности

Как и другие LLM, Llama может генерировать ложную, вредную или предвзятую информацию. Meta (организация признана экстремистской и запрещена в РФ) внедрила механизмы фильтрации (guardrails), но они не идеальны. В 2023 году исследователи обнаружили, что Llama 2 может быть использована для создания фишинговых писем и вредоносного кода.

Языковой дисбаланс

Модели преимущественно обучены на англоязычных данных. Хотя Llama 3 включает данные на 30 языках, качество генерации на русском, китайском и других языках значительно ниже, чем на английском. Это ограничивает применение в неанглоязычных регионах.

Ресурсоёмкость

Несмотря на относительно небольшой размер, запуск модели Llama 3.1 405B требует нескольких графических процессоров с большим объёмом видеопамяти (например, 8 × NVIDIA A100 80GB). Это делает её недоступной для большинства частных пользователей.

Юридические риски

Открытая лицензия не снимает ответственности за использование модели. В ряде стран (включая Россию) использование ИИ для генерации контента без указания авторства или с нарушением законодательства может повлечь юридические последствия. Кроме того, Meta (организация признана экстремистской и запрещена в РФ) ограничивает использование модели в странах, включённых в санкционные списки США.

Влияние на индустрию ИИ

Llama стала катализатором развития открытых языковых моделей. Её появление стимулировало создание множества доработанных версий (например, Alpaca, Vicuna, Orca, Mistral), а также развитие инфраструктуры для запуска LLM на локальных устройствах (llama.cpp, Ollama, LM Studio). Llama также способствовала снижению стоимости исследований в области NLP, так как предоставила доступ к мощным моделям без необходимости платить за API.

Источники

• Touvron, H., et al. (2023). «Llama: Open and Efficient Foundation Language Models». arXiv:2302.13971.
• Touvron, H., et al. (2023). «Llama 2: Open Foundation and Fine-Tuned Chat Models». arXiv:2307.09288.
• Meta AI (организация признана экстремистской и запрещена в РФ). (2024). «The Llama 3 Herd of Models». arXiv:2407.21783.
• Meta AI (организация признана экстремистской и запрещена в РФ). (2025). «Llama 4: A New Generation of Open Foundation Models». Официальный блог Meta.
• Документация к лицензиям Llama 2, Llama 3, Llama 4 на сайте ai.meta.com.