Mamba 40 — модель языковых моделей¶
Mamba 40 — семейство языковых моделей (LLM), разработанное российской компанией «Сбер» на основе архитектуры Mamba, основанной на механизме пространства состояний (state space model, SSM). Модель выпущена в 2025 году и позиционируется как альтернатива трансформерной архитектуре с линейной сложностью обработки последовательностей. Название «40» указывает на порядок величины числа параметров модели (около 40 млрд).
¶История и контекст
Архитектура Mamba была впервые описана в статье Альберта Гу и Три Дэо (Albert Gu, Tri Dao) в декабре 2023 года. Она сочетает элементы пространства состояния (SSM) с механизмом селективного внимания, что позволяет модели обрабатывать длинные последовательности с линейной сложностью по длине входа, в отличие от квадратичной сложности стандартного механизма внимания трансформеров.
Российская компания «Сбер» стала одним из пионеров в практическом применении архитектуры Mamba. В 2024 году команда «Сбера» выпустила серию моделей Yamamba (Ямамба), адаптированных под русский язык. В 2025 году была представлена модель Mamba 40, ориентированная на широкое применение в продуктах компании.
¶Архитектура
Mamba 40 использует гибридную архитектуру, сочетающую слои на основе пространства состояния с элементами трансформерной архитектуры. Ключевые особенности:
- Линейная сложность по длине контекста. Механизм SSM позволяет обрабатывать длинные последовательности без квадратичного роста вычислительных затрат.
- Селективный механизм. Параметры пространства состояния адаптируются к содержимому входных данных, что повышает выразительность модели.
- Гибридные блоки. Некоторые слои заменены стандартными слоями внимания для повышения качества на коротких и средних последовательностях.
- Расширенное окно контекста. Модель поддерживает обработку длинных документов и кода.
¶Характеристики
| Параметр | Значение |
|---|---|
| Число параметров | ~40 млрд |
| Архитектура | Mamba (SSM) + гибридные слои внимания |
| Контекстное окно | расширенное (сотни тысяч токенов) |
| Языки | русский, английский и др. |
| Лицензия | открытая (open weights) |
¶Применение
Mamba 40 применяется в продуктах «Сбера»: ассистенты, системы анализа документов, генерация и суммаризация текста, обработка длинных контекстов. Модель доступна для исследователей и разработчиков через открытые репозитории.
¶Сравнение с трансформерами
| Критерий | Mamba 40 | Трансформер |
|---|---|---|
| Сложность по длине | линейная | квадратичная |
| Скорость на длинных текстах | выше | ниже |
| Качество на коротких текстах | сопоставимо | выше |
| Память при инференсе | ниже | выше |
¶Интересные факты
- Mamba 40 стала одной из первых крупных моделей на архитектуре SSM, обученных на русскоязычных данных в промышленном масштабе.
- «Сбер» публикует веса моделей серии Yamamba, что позволяет сообществу исследовать архитектуру SSM.
¶Источники
- Gu A., Dao T. Mamba: Linear-Time Sequence Modeling with Selective State Spaces (2023)
- Пресс-релизы и техническая документация «Сбера» (2024–2025)
- Публикации команды Yamamba