YaLM

YaLM (Yet another Language Model) — это семейство больших языковых моделей, разработанных компанией «Яндекс». Модели предназначены для генерации, понимания и обработки естественного языка, а также для решения прикладных задач, таких как написание текстов, ответы на вопросы, реферирование и машинный перевод. YaLM относится к классу авторегрессионных трансформеров, обученных на больших объёмах текстовых данных на русском и английском языках.

История

Разработка YaLM началась в «Яндексе» в 2020 году как часть внутренних исследований в области обработки естественного языка (NLP). Первая публично анонсированная модель, YaLM-100B, была представлена в июне 2022 года. Она насчитывала 100 миллиардов параметров, что на тот момент делало её одной из крупнейших языковых моделей, обученных преимущественно на русскоязычных данных. Для сравнения, GPT-3 от OpenAI имела 175 миллиардов параметров, но была ориентирована в первую очередь на английский язык.

В 2023 году компания выпустила облегчённую версию — YaLM 2.0, которая, по заявлениям разработчиков, при меньшем количестве параметров (около 8 миллиардов) демонстрировала сопоставимую или лучшую производительность на ряде бенчмарков. В 2024 году появилась модель YandexGPT, построенная на архитектуре YaLM, но с дополнительной дообучкой на диалоговых данных и внедрением механизма Retrieval-Augmented Generation (RAG) для работы с актуальной информацией.

Архитектура и характеристики

YaLM основана на архитектуре трансформера (Transformer) с декодером, аналогичной моделям семейства GPT. Ключевые особенности:

• Количество параметров: от 1,3 миллиарда (малая версия) до 100 миллиардов (YaLM-100B).
• Размер контекста: до 2048 токенов (в YaLM-100B), в более поздних версиях — до 4096 токенов.
• Токенизация: используется BPE (Byte Pair Encoding) с расширенным словарём, включающим символы кириллицы, латиницы, цифры и специальные знаки.
• Обучение: проводилось на суперкомпьютерных кластерах «Яндекса» с использованием графических процессоров NVIDIA A100. Объём обучающих данных для YaLM-100B составил около 1,7 терабайта текстов, из которых примерно 60 % — русскоязычные, 30 % — англоязычные, 10 % — прочие языки и код.
• Функции активации: GELU (Gaussian Error Linear Unit) и SwiGLU в более поздних версиях.
• Оптимизация: используется смешанная точность (FP16/BF16) и техника параллелизации модели (Tensor Parallelism, Pipeline Parallelism).

Обучение и данные

Обучение YaLM-100B заняло около 65 дней на 800 графических процессорах NVIDIA A100. Для подготовки данных применялась фильтрация и дедупликация. Источники включали:

• Веб-страницы, проиндексированные поисковой системой «Яндекса».
• Книги, статьи, новости, форумы и блоги на русском и английском языках.
• Открытые датасеты, такие как Wikipedia, Common Crawl, C4.

Для предотвращения утечки персональных данных и конфиденциальной информации применялись автоматические фильтры, удаляющие номера телефонов, адреса, паспортные данные и другие идентифицирующие сведения.

Применение

YaLM и её производные (YandexGPT, YandexGPT Lite) используются в продуктах «Яндекса»:

• Алиса — голосовой помощник, способный вести диалог, отвечать на вопросы, писать тексты и выполнять команды.
• YandexGPT — чат-бот, доступный в веб-версии и мобильном приложении «Яндекс» (с 2023 года). Позволяет генерировать тексты, переводить, реферировать, писать код и решать логические задачи.
• Яндекс.Браузер — встроенный ассистент для перевода, объяснения терминов и создания кратких изложений страниц.
• Яндекс.Маркет — генерация описаний товаров и ответов на вопросы покупателей.
• Яндекс.Музыка — рекомендации и создание плейлистов на основе текстовых запросов.
• Яндекс.Облако — API для сторонних разработчиков (YandexGPT API), позволяющий интегрировать языковую модель в собственные приложения.

Сравнение с аналогами

YaLM позиционируется как альтернатива зарубежным моделям, в первую очередь GPT-3 (OpenAI) и LLaMA (Meta — организация признана экстремистской и запрещена в РФ). Основные отличия:

• Языковая поддержка: YaLM лучше справляется с русским языком, включая идиомы, сленг и сложные грамматические конструкции, благодаря большему объёму русскоязычных данных в обучении.
• Размер: YaLM-100B (100 млрд параметров) меньше, чем GPT-3 (175 млрд), но сопоставима с LLaMA-65B (65 млрд) и больше, чем LLaMA-2-70B (70 млрд).
• Открытость: архитектура YaLM не является полностью открытой — «Яндекс» не публиковал веса модели, но предоставляет доступ через API и частично описывает детали в технических отчётах. В отличие от LLaMA, которая была утекла в открытый доступ, YaLM остаётся проприетарной.
• Стоимость: использование YaLM через API «Яндекс.Облака» дешевле, чем подписка на ChatGPT от OpenAI для пользователей из России, особенно с учётом курсовых разниц и санкционных ограничений.

Критика и ограничения

Как и другие большие языковые модели, YaLM подвержена ряду недостатков:

• Галлюцинации: модель может генерировать правдоподобные, но фактически неверные утверждения, особенно в областях, требующих актуальных данных (новости, наука, право).
• Предвзятость: из-за особенностей обучающих данных модель может воспроизводить стереотипы, предрассудки и некорректные обобщения.
• Отсутствие контроля: в ранних версиях YaLM не имела встроенных механизмов фильтрации вредоносного контента, что приводило к генерации оскорбительных или неэтичных ответов. В более поздних версиях (YandexGPT) внедрены модерация и контент-фильтры.
• Зависимость от закрытой экосистемы: модель доступна только через сервисы «Яндекса» и API, что ограничивает её использование в исследовательских целях и сторонних проектах.

Перспективы развития

В 2024—2025 годах «Яндекс» продолжает развивать семейство YaLM. Ожидаются следующие улучшения:

• Увеличение размера контекста до 32 000 токенов для работы с длинными документами.
• Внедрение мультимодальности — возможность обработки изображений, аудио и видео.
• Интеграция с поисковыми системами в реальном времени для повышения достоверности ответов.
• Оптимизация для мобильных устройств и edge-вычислений.

Источники

• Технический отчёт YaLM-100B (Яндекс, 2022)
• Документация YandexGPT API (Яндекс.Облако, 2023–2024)
• Публикации в блоге «Яндекса» о развитии языковых моделей (2022–2024)
• Статья «YaLM: Yet another Language Model» на Habr (2022)
• Сравнительный анализ языковых моделей для русского языка (Journal of NLP, 2023)