BERT

BERT (Bidirectional Encoder Representations from Transformers) — это предобученная языковая модель, разработанная компанией Google в 2018 году, относящаяся к классу нейросетевых архитектур на основе трансформеров. BERT предназначена для глубокого понимания контекста текста и используется в задачах обработки естественного языка (NLP), таких как ответы на вопросы, анализ тональности, распознавание именованных сущностей и машинный перевод. Ключевая особенность BERT — двунаправленное (бидирекциональное) обучение, позволяющее модели учитывать как левый, так и правый контекст каждого слова, что значительно повышает точность понимания текста по сравнению с предшествующими однонаправленными моделями.

История создания

Разработка BERT началась в 2017–2018 годах в исследовательском подразделении Google AI Language. Предшественниками модели стали архитектуры на основе трансформеров, впервые описанные в статье «Attention Is All You Need» (2017). До BERT доминирующим подходом в NLP были рекуррентные нейронные сети (RNN) и модели типа word2vec, которые не обеспечивали полноценного учёта контекста. В октябре 2018 года команда Google под руководством Джейкоба Девлина опубликовала статью «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding», где представила модель. BERT быстро завоевала популярность: в ноябре 2018 года она установила рекорды по 11 тестам NLP, включая GLUE (General Language Understanding Evaluation) и SQuAD (Stanford Question Answering Dataset). С 2019 года BERT стала основой для многих коммерческих и исследовательских проектов, включая поисковую систему Google.

Архитектура и принцип работы

Основы трансформеров

BERT базируется на архитектуре трансформера, предложенной в 2017 году. Трансформер состоит из двух частей: энкодера (кодировщика) и декодера (декодировщика). BERT использует только энкодер, который обрабатывает входной текст через многослойные блоки, содержащие механизмы самовнимания (self-attention) и полносвязные нейронные сети. Механизм самовнимания позволяет модели оценивать важность каждого токена (слова или части слова) относительно всех других токенов в последовательности, что даёт возможность учитывать глобальный контекст.

Двунаправленность

В отличие от предыдущих моделей (например, GPT от OpenAI), которые обрабатывают текст слева направо или справа налево, BERT обучается двунаправленно. Это означает, что при предсказании слова модель одновременно использует информацию из обеих сторон — слева и справа. Двунаправленность достигается за счёт двух специальных задач обучения: маскированного языкового моделирования (Masked Language Model, MLM) и предсказания следующего предложения (Next Sentence Prediction, NSP).

Маскированное языковое моделирование (MLM)

В процессе MLM случайным образом маскируется 15 % токенов во входной последовательности (например, слово заменяется на специальный токен [MASK]). Модель должна восстановить замаскированные токены на основе контекста. Это заставляет BERT изучать глубокие контекстуальные взаимосвязи. Например, в предложении «Кот [MASK] на коврике» модель должна предсказать, что пропущенное слово — «сидит».

Предсказание следующего предложения (NSP)

Для задач, требующих понимания связей между предложениями (например, ответы на вопросы), BERT обучается определять, является ли второе предложение логическим продолжением первого. Модели подаются пары предложений, и она должна классифицировать их как «связанные» или «несвязанные». Это улучшает понимание дискурса.

Входные данные и токенизация

BERT использует токенизацию WordPiece, которая разбивает слова на подслова (субтокены). Например, слово «играющий» может быть разбито на «игра», «##ющий». Каждый токен преобразуется в векторное представление (эмбеддинг), состоящее из трёх компонентов: токен-эмбеддинга (значение токена), сегмент-эмбеддинга (указывает, к какому предложению относится токен) и позиционного эмбеддинга (указывает позицию токена в последовательности).

Размеры и версии

Google выпустила две основные версии BERT:

• BERT-base: 12 слоёв (трансформерных блоков), 768 скрытых нейронов, 12 голов внимания, 110 миллионов параметров.
• BERT-large: 24 слоя, 1024 скрытых нейрона, 16 голов внимания, 340 миллионов параметров.

Обе версии обучены на корпусе текстов, включающем английскую Википедию (2,5 миллиарда слов) и BooksCorpus (800 миллионов слов). Впоследствии появились специализированные варианты: multilingual BERT (поддерживающий 104 языка, включая русский), BioBERT (для биомедицинских текстов), RoBERTa (оптимизированная версия от Facebook/Meta — организация признана экстремистской и запрещена в РФ) и другие.

Применение

Поисковые системы

В 2019 году Google интегрировала BERT в свою поисковую систему для улучшения понимания сложных запросов. Например, запрос «2019 год путешественник из Бразилии в США требует визу» ранее мог интерпретироваться неправильно, но BERT позволяет учитывать предлоги и порядок слов, что даёт более релевантные результаты.

Анализ тональности

BERT применяется для определения эмоциональной окраски текстов (позитивная, негативная, нейтральная). В России модель использовалась в системах мониторинга соцсетей и отзывов.

Ответы на вопросы

На основе BERT построены системы, способные извлекать ответы из текста (extractive QA). Например, модель SQuAD 2.0, использующая BERT, показывает точность около 93 % на английском языке.

Машинный перевод

Хотя BERT не является моделью перевода напрямую, она используется для предобучения энкодеров в системах перевода, улучшая качество генерации текста.

Чат-боты и виртуальные ассистенты

BERT применяется в диалоговых системах, таких как Google Assistant и российские разработки (например, «Алиса» от Яндекса), для понимания контекста беседы.

Ограничения и критика

Вычислительные ресурсы

BERT требует значительных вычислительных мощностей. Обучение BERT-large на 64 TPU (тензорных процессорах Google) заняло около 4 дней. Для дообучения на конкретной задаче также нужны GPU или TPU, что ограничивает доступность для небольших компаний и исследователей.

Длина контекста

Максимальная длина входной последовательности BERT ограничена 512 токенами (примерно 350–400 слов). Для длинных документов (книги, статьи) это недостаточно, и модель теряет контекст.

Отсутствие генерации

BERT — это модель понимания, а не генерации текста. Она не способна самостоятельно создавать связные длинные тексты, в отличие от моделей типа GPT-3. Для генерации BERT используется редко и с дополнительными модификациями.

Языковая предвзятость

Как и многие модели NLP, BERT может воспроизводить стереотипы и предвзятости, присутствующие в обучающих данных (например, гендерные или расовые). Это вызывает критику со стороны этических комитетов и требует постобработки.

Влияние на развитие NLP

BERT стал революционным прорывом в области NLP. Он положил начало эре предобученных трансформерных моделей, которые затем развились в семейства RoBERTa, ALBERT, DistilBERT, ELECTRA и другие. Метод двунаправленного обучения и маскированного языкового моделирования стал стандартом для многих последующих архитектур. BERT также стимулировал создание бенчмарков (SuperGLUE, XTREME) и соревнований по NLP. В России BERT используется в академических исследованиях (МФТИ, ВШЭ, Сколтех) и коммерческих продуктах (Яндекс, Сбер, Тинькофф).

Источники

• Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT.
• Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems.
• Google AI Blog. (2018). Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing.
• Wolf, T., et al. (2020). Transformers: State-of-the-Art Natural Language Processing. Proceedings of EMNLP.
• Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint.