ruBERT

ruBERT — это семейство нейросетевых моделей машинного обучения, основанных на архитектуре Transformer (BERT), предобученных на больших корпусах русскоязычных текстов. Разработаны для решения задач обработки естественного языка (NLP) на русском языке, таких как анализ тональности, распознавание именованных сущностей, ответы на вопросы, классификация текстов и машинный перевод. Модели ruBERT являются частью экосистемы DeepPavlov, созданной в МФТИ (Московский физико-технический институт) и лабораторией нейронных систем и глубокого обучения.

История

Разработка ruBERT началась в 2019 году в рамках проекта DeepPavlov, который представляет собой открытую библиотеку для построения диалоговых систем на русском языке. Исходная модель BERT (Bidirectional Encoder Representations from Transformers) была выпущена компанией Google в 2018 году и показала высокие результаты на многих задачах NLP. Однако предобученная версия BERT была ориентирована на английский язык, что требовало создания специализированных моделей для других языков.

Первая версия ruBERT была обучена на корпусе текстов, включающем новости, статьи из Википедии, художественную литературу и другие источники общим объёмом около 12 ГБ текста. В 2020 году вышла обновлённая версия — ruBERT cased (с учётом регистра символов) и ruBERT uncased (без учёта регистра). В последующие годы были выпущены различные модификации, включая модели, оптимизированные для конкретных задач, например, для анализа тональности или распознавания сущностей.

Архитектура и принцип работы

Основы архитектуры Transformer

Как и оригинальный BERT, ruBERT основан на архитектуре Transformer, предложенной в 2017 году в статье «Attention is All You Need». Ключевым элементом является механизм самовнимания (self-attention), который позволяет модели учитывать контекст каждого слова в предложении, независимо от его позиции. В отличие от рекуррентных нейронных сетей (RNN), Transformer обрабатывает все слова последовательности параллельно, что значительно ускоряет обучение.

Структура BERT

BERT использует только кодировщик (encoder) из архитектуры Transformer. Модель состоит из нескольких слоёв (обычно 12 для базовой версии), каждый из которых содержит:

• Многоголовое самовнимание (multi-head attention).
• Полносвязные (feed-forward) слои.
• Нормализацию и остаточные связи (residual connections).

Входные данные представляют собой последовательность токенов (слов или подслов), к которым добавляются специальные токены: [CLS] (начало последовательности) и [SEP] (разделитель между предложениями или конец последовательности). Для каждого токена модель вычисляет векторное представление (embedding), которое учитывает контекст всего предложения.

Предобучение ruBERT

Предобучение ruBERT проходило в два этапа:

1. Маскированное языковое моделирование (Masked Language Model, MLM). В случайном порядке 15% токенов в тексте заменяются на маску [MASK]. Модель должна предсказать исходный токен на основе контекста. Это позволяет модели научиться понимать семантические и синтаксические связи.
2. Предсказание следующего предложения (Next Sentence Prediction, NSP). Модель получает пару предложений и должна определить, является ли второе предложение логическим продолжением первого. Этот этап улучшает понимание связей между предложениями.

Для ruBERT использовался корпус текстов, включающий:

• Русскоязычную Википедию.
• Новостные статьи (Lenta.ru, РИА Новости и другие).
• Художественную литературу.
• Тексты из интернета (веб-корпус).

Общий объём корпуса составил около 12 ГБ текста (около 3 миллиардов токенов).

Версии и модификации

Основные версии

• ruBERT cased — модель, учитывающая регистр символов. Рекомендуется для задач, где регистр важен (например, распознавание именованных сущностей).
• ruBERT uncased — модель, приводящая все символы к нижнему регистру. Используется для задач, где регистр не имеет значения (например, анализ тональности).

Специализированные модели

На основе ruBERT были созданы модели, дообученные на конкретных задачах:

• RuBERT for Sentiment Analysis — модель для анализа тональности текстов (положительная, отрицательная, нейтральная).
• RuBERT for NER — модель для распознавания именованных сущностей (имена, организации, места, даты).
• RuBERT for QA — модель для ответов на вопросы по тексту (reading comprehension).

Также существуют версии, обученные на специфических доменах, например, на медицинских текстах или юридических документах.

Применение

Классификация текстов

Модели ruBERT широко используются для классификации текстов по темам, тональности, категориям. Например, в системах анализа отзывов, модерации контента, автоматической рубрикации новостей.

Распознавание именованных сущностей (NER)

RuBERT позволяет выделять из текста имена людей, названия организаций, географические названия, даты и другие сущности. Это применяется в информационном поиске, извлечении данных, системах вопрос-ответ.

Ответы на вопросы

Модель может отвечать на вопросы, заданные по тексту. Например, пользователь задаёт вопрос, а система находит в документе релевантный фрагмент и формулирует ответ. Это используется в чат-ботах, поисковых системах, виртуальных ассистентах.

Машинный перевод и суммаризация

Хотя ruBERT не является специализированной моделью для перевода или суммаризации, её можно использовать как часть более сложных систем, например, для улучшения качества перевода или выделения ключевых предложений.

Диалоговые системы

В составе библиотеки DeepPavlov ruBERT применяется для построения диалоговых агентов, способных понимать контекст и давать осмысленные ответы.

Доступность и лицензирование

Модели ruBERT распространяются бесплатно и с открытым исходным кодом. Они доступны на платформе Hugging Face (модели с меткой DeepPavlov/rubert-*). Лицензия — Apache 2.0, что позволяет использовать их в коммерческих и исследовательских проектах. Для работы с моделями требуется библиотека Transformers (Hugging Face) и PyTorch или TensorFlow.

Ограничения и критика

• Размер модели. Базовая версия ruBERT содержит 110 миллионов параметров, что требует значительных вычислительных ресурсов для обучения и инференса. Это может быть проблемой для мобильных устройств или систем с ограниченной памятью.
• Зависимость от корпуса. Качество модели зависит от объёма и качества предобученного корпуса. Некоторые темы или стили текстов могут быть представлены недостаточно, что снижает точность.
• Отсутствие понимания мира. Как и другие языковые модели, ruBERT не обладает реальным пониманием смысла текста, а лишь статистически предсказывает вероятные последовательности токенов. Это может приводить к ошибкам в сложных или неоднозначных контекстах.
• Устаревание. С момента выхода первой версии появились более современные модели, такие как RuGPT, YaLM (Яндекс) и другие, которые могут превосходить ruBERT по качеству на некоторых задачах.

Сравнение с аналогами

Интересные факты

• Название «ruBERT» образовано от «Russian BERT».
• Модели ruBERT являются частью экосистемы DeepPavlov, которая также включает инструменты для построения диалоговых систем, такие как Dream (социальный чат-бот) и различные конвейеры обработки текста.
• Для обучения ruBERT использовались графические процессоры (GPU) NVIDIA Tesla V100, обучение заняло несколько недель.
• В 2021 году вышла версия ruBERT-large, содержащая 340 миллионов параметров, но она не получила широкого распространения из-за высоких требований к ресурсам.

Источники

• DeepPavlov: Open Source Library for Conversational AI. — arXiv:2002.07991, 2020.
• Devlin, J., Chang, M.-W., Lee, K., Toutanova, K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. — arXiv:1810.04805, 2018.
• Vaswani, A., et al. Attention is All You Need. — NeurIPS, 2017.
• Официальный репозиторий DeepPavlov на GitHub.
• Hugging Face Model Hub: DeepPavlov/rubert-base-cased.