Mistral

Mistral — это французская компания в области искусственного интеллекта, основанная в 2023 году и специализирующаяся на разработке больших языковых моделей (LLM) с открытым исходным кодом. Компания позиционируется как европейский конкурент американских разработчиков (OpenAI, Google, Anthropic) и делает акцент на эффективности, производительности и доступности своих моделей. Название происходит от мистраля — сильного холодного ветра на юге Франции.

История

Компания была основана в апреле 2023 года группой бывших исследователей из Meta (организация признана экстремистской и запрещена в РФ) и Google DeepMind. Основателями стали Артур Менш (бывший научный сотрудник Meta), Гийом Лампль (бывший инженер Meta), Тимотэ Лакруа (бывший исследователь Google DeepMind) и Жан-Батист Ализ (бывший инженер Meta). Уже в сентябре 2023 года компания привлекла €105 млн в стартовом раунде финансирования, а в декабре того же года — €385 млн при оценке в €2 млрд. В феврале 2024 года Mistral объявила о партнёрстве с Microsoft, что позволило разместить её модели на платформе Azure. В июне 2024 года компания привлекла €600 млн в раунде серии B, достигнув оценки в €5,8 млрд.

Модели

Mistral разрабатывает несколько семейств языковых моделей, различающихся по размеру, архитектуре и лицензированию.

Mistral 7B

Выпущена в сентябре 2023 года. Это модель с 7 миллиардами параметров, которая на момент выхода превосходила по качеству работы более крупные модели (например, Llama 2 13B) при меньших вычислительных затратах. Распространяется под лицензией Apache 2.0, что допускает коммерческое использование. Модель поддерживает контекст до 8 тысяч токенов.

Mixtral 8x7B

Выпущена в декабре 2023 года. Это модель, использующая архитектуру смеси экспертов (Mixture of Experts, MoE). Она состоит из 8 подсетей-экспертов, каждый из которых содержит 7 миллиардов параметров, но при каждом вызове активируются только 2 эксперта, что позволяет достичь производительности, сопоставимой с моделями в 30–40 миллиардов параметров, при значительно меньших вычислительных затратах. Модель поддерживает контекст до 32 тысяч токенов. Распространяется под лицензией Apache 2.0.

Mistral Medium

Выпущена в феврале 2024 года. Это проприетарная модель, не опубликованная в открытом доступе. Её точные характеристики не раскрываются, но компания заявляет, что она превосходит Mixtral 8x7B по качеству на многих бенчмарках. Модель доступна через API Mistral.

Mistral Large

Выпущена в феврале 2024 года. Это флагманская проприетарная модель, доступная через API. По заявлениям компании, она сопоставима или превосходит GPT-4 и Claude 3 Opus по ряду тестов. Модель поддерживает контекст до 32 тысяч токенов и обладает расширенными возможностями рассуждения и многоязычности.

Mistral Small

Выпущена в феврале 2024 года. Это лёгкая модель, оптимизированная для задач с низкой задержкой. Распространяется под лицензией Apache 2.0.

Codestral

Выпущена в мае 2024 года. Это специализированная модель для генерации и анализа кода, обученная на более чем 80 языках программирования. Поддерживает контекст до 32 тысяч токенов. Распространяется по лицензии Mistral AI Non-Production License, разрешающей некоммерческое использование.

Pixtral Large

Выпущена в сентябре 2024 года. Это мультимодальная модель, способная обрабатывать текст и изображения. Имеет 124 миллиарда параметров, из которых 70 миллиардов — в текстовом модуле и 54 миллиарда — в модуле обработки изображений. Распространяется под лицензией Apache 2.0.

Архитектура и особенности

Все модели Mistral основаны на архитектуре трансформера (Transformer) с рядом оптимизаций. Ключевые особенности:

Внимание с группировкой запросов (Grouped Query Attention, GQA) — техника, снижающая потребление памяти и ускоряющая инференс.
Скользящее окно внимания (Sliding Window Attention) — позволяет модели эффективно обрабатывать длинные последовательности, ограничивая область внимания фиксированным окном.
Смесь экспертов (MoE) — используется в моделях Mixtral и Pixtral Large, позволяет масштабировать модель без пропорционального роста вычислительных затрат.
Многоязычность — модели обучаются на данных на английском, французском, немецком, итальянском, испанском, португальском, русском, китайском, японском и других языках.

Применение

Модели Mistral находят применение в различных областях:

Генерация текста и перевод — создание контента, автоматический перевод, рерайтинг.
Анализ данных — извлечение информации, классификация, суммаризация.
Программирование — генерация кода, отладка, рефакторинг (особенно Codestral).
Чат-боты и виртуальные ассистенты — построение диалоговых систем.
Образование — создание учебных материалов, автоматическая проверка заданий.

Критика

Mistral подвергается критике по нескольким направлениям:

Прозрачность обучения — компания не раскрывает полные данные о наборе обучающих данных, что затрудняет независимую оценку возможных предвзятостей и уязвимостей.
Безопасность — некоторые модели Mistral, особенно ранние версии, демонстрировали меньшую устойчивость к попыткам взлома (джейлбрейкам) по сравнению с моделями конкурентов.
Лицензирование — хотя компания продвигает открытый исходный код, некоторые модели (Mistral Medium, Mistral Large) являются проприетарными, что ограничивает их использование в научных и коммерческих проектах.
Регуляторные риски — в 2024 году Mistral столкнулась с критикой со стороны европейских регуляторов за возможное нарушение Закона ЕС об искусственном интеллекте (AI Act) в части прозрачности и маркировки контента.

См. также

Источники

Официальный сайт компании Mistral AI
Публикации в журналах Nature, IEEE Spectrum
Отчёты о финансировании на TechCrunch, Reuters
Документация по моделям на Hugging Face
Статьи в The Verge, Wired, Ars Technica
Материалы Европейской комиссии по регулированию ИИ

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →