BART

BART (англ. Bidirectional and Auto-Regressive Transformer) — это нейросетевая языковая модель, разработанная компанией Google (Google LLC — организация зарегистрирована в США, не является запрещённой в РФ). Относится к классу трансформерных моделей, предназначенных для задач обработки естественного языка (NLP). BART сочетает в себе свойства двунаправленного (bidirectional) и авторегрессионного (auto-regressive) кодирования, что позволяет ей эффективно решать задачи генерации, понимания и восстановления текста. Модель была представлена в 2019 году в исследовательской работе «BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension».

Архитектура и принцип работы

BART построена на основе архитектуры трансформера, объединяющей в себе элементы моделей BERT (Bidirectional Encoder Representations from Transformers) и GPT (Generative Pre-trained Transformer). Ключевая особенность BART — это комбинированная структура «кодировщик-декодировщик» (encoder-decoder), где кодировщик обрабатывает входной текст двунаправленно, а декодировщик генерирует выходной текст авторегрессионно (слева направо).

Кодировщик (Encoder)

Кодировщик BART использует двунаправленное внимание (bidirectional self-attention), аналогично модели BERT. Это означает, что при обработке каждого токена (слова или части слова) модель учитывает контекст как слева, так и справа от него. Такой подход позволяет лучше понимать смысл предложения, особенно в задачах, где важны отношения между удалёнными элементами текста (например, в вопросительно-ответных системах или анализе тональности).

Декодировщик (Decoder)

Декодировщик BART, в свою очередь, использует авторегрессионное внимание (causal self-attention), как в моделях GPT. Это означает, что при генерации каждого нового токена модель учитывает только ранее сгенерированные токены, а не будущие. Такая архитектура подходит для задач генерации текста, где требуется последовательное создание связного вывода (например, машинный перевод, суммаризация, ответы на вопросы).

Обучение с шумом (Denoising Autoencoder)

BART обучается как деноизирующий автоэнкодер (denoising autoencoder). В процессе предобучения модель получает на вход «зашумлённый» текст (текст, в который внесены искажения) и учится восстанавливать исходный, «чистый» текст. Для этого используются различные виды шума:

• Маскирование токенов (Token Masking): случайные токены заменяются на специальный токен [MASK].
• Удаление токенов (Token Deletion): случайные токены удаляются из последовательности.
• Замена токенов (Token Infilling): случайные токены заменяются на другие токены из словаря.
• Перестановка предложений (Sentence Permutation): предложения в тексте перемешиваются в случайном порядке.
• Поворот текста (Document Rotation): текст разрезается в случайном месте, и его части меняются местами.

Цель обучения — минимизировать ошибку восстановления исходного текста. Такой подход позволяет модели изучать как локальные (смысл отдельных слов и фраз), так и глобальные (структура предложений и абзацев) закономерности языка.

История и развитие

BART была представлена в 2019 году исследователями из Google AI Language (подразделение Google LLC). В отличие от предшественников (BERT, GPT-1, GPT-2), BART была первой моделью, объединившей двунаправленное кодирование и авторегрессионную генерацию в единой архитектуре. Это позволило ей превзойти предыдущие модели в ряде задач, требующих как понимания, так и генерации текста.

В 2020 году была выпущена улучшенная версия — BART-large, которая имела большее количество параметров (около 400 миллионов) и продемонстрировала ещё более высокие результаты на бенчмарках (например, на наборах данных SQuAD для вопросно-ответных систем и CNN/Daily Mail для суммаризации). Впоследствии на основе архитектуры BART были созданы специализированные модели, такие как:

• mBART (Multilingual BART) — для задач, связанных с несколькими языками, включая машинный перевод.
• BART-base — облегчённая версия для задач с ограниченными вычислительными ресурсами.

Применение

BART применяется в широком спектре задач обработки естественного языка, где требуется как понимание контекста, так и генерация текста.

Суммаризация текста

BART демонстрирует высокую эффективность в задачах абстрактивной суммаризации (abstractive summarization), где модель не просто извлекает ключевые предложения из исходного текста, а генерирует новый, сжатый текст, сохраняющий основное содержание. Например, модель может сжимать новостные статьи или научные публикации в краткие аннотации.

Машинный перевод

Хотя BART изначально не была разработана специально для перевода, её архитектура позволяет адаптировать её для этой задачи. В частности, версия mBART показала конкурентоспособные результаты на многоязычных переводах, особенно в условиях ограниченного количества параллельных данных.

Ответы на вопросы (Question Answering)

BART используется в системах, где требуется дать развёрнутый ответ на вопрос на основе предоставленного контекста (extractive QA) или сгенерировать ответ без прямого извлечения фрагментов (generative QA). Например, модель может отвечать на вопросы по тексту документа или статьи.

Генерация диалогов

В чат-ботах и виртуальных ассистентах BART применяется для генерации ответов, учитывающих контекст беседы. Благодаря двунаправленному кодированию, модель лучше понимает историю диалога, а авторегрессионный декодер позволяет генерировать связные и релевантные реплики.

Восстановление текста

BART эффективно справляется с задачами восстановления повреждённого текста (например, исправление опечаток, восстановление удалённых слов, реконструкция текста после шума). Это свойство используется в системах автокоррекции и распознавания речи.

Сравнение с другими моделями

BART занимает промежуточное положение между моделями, ориентированными исключительно на понимание (BERT), и моделями, ориентированными на генерацию (GPT). В отличие от BERT, который имеет только кодировщик и не может генерировать текст, BART способен как понимать, так и создавать текст. В отличие от GPT, который использует только авторегрессионный декодер и не учитывает двусторонний контекст, BART использует двунаправленное внимание на этапе кодирования, что улучшает понимание входных данных.

По сравнению с моделью T5 (Text-to-Text Transfer Transformer), также разработанной Google, BART имеет схожую архитектуру «кодировщик-декодировщик», но отличается методом предобучения. T5 обучается на универсальной задаче «текст-в-текст» (text-to-text), где все задачи формулируются как преобразование одного текста в другой. BART, в свою очередь, специализируется на восстановлении зашумлённого текста, что делает её особенно эффективной в задачах, связанных с искажениями (например, восстановление текста после удаления слов).

Критика и ограничения

Несмотря на высокую эффективность, BART имеет ряд ограничений. Во-первых, модель требует значительных вычислительных ресурсов для обучения и инференса (вывода). Например, BART-large содержит около 400 миллионов параметров, что делает её ресурсоёмкой для использования на устройствах с ограниченной памятью (например, мобильные телефоны). Во-вторых, как и другие трансформерные модели, BART может демонстрировать предвзятость (bias), связанную с данными, на которых она обучалась (например, гендерные или культурные стереотипы). В-третьих, модель не всегда способна корректно обрабатывать длинные тексты (более 1024 токенов), что ограничивает её применение в задачах с большими объёмами данных.

Источники

1. Lewis, M., Liu, Y., Goyal, N., et al. (2019). «BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension». arXiv preprint arXiv:1910.13461.
2. Liu, Y., Gu, J., Goyal, N., et al. (2020). «Multilingual Denoising Pre-training for Neural Machine Translation». Transactions of the Association for Computational Linguistics, 8, 726–742.
3. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding». Proceedings of NAACL-HLT 2019.
4. Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). «Improving Language Understanding by Generative Pre-Training». OpenAI Technical Report.
5. Raffel, C., Shazeer, N., Roberts, A., et al. (2020). «Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer». Journal of Machine Learning Research, 21, 1–67.