Большие языковые модели

Большая языковая модель (Large Language Model, LLM) — это тип искусственной нейронной сети, специализирующийся на обработке, генерации и понимании текста на естественном языке. Относится к классу генеративных моделей, обученных на огромных массивах текстовых данных (корпусах). Ключевыми характеристиками LLM являются большое количество параметров (от миллиардов до сотен миллиардов), способность к обучению без учителя на неразмеченных данных и возможность решать широкий спектр задач (перевод, реферирование, ответы на вопросы, написание кода) без дополнительной настройки под каждую конкретную задачу (zero-shot или few-shot learning).

История

Предпосылки и ранние работы

Идея использования нейросетей для обработки текста возникла в 1980-х годах с появлением рекуррентных нейронных сетей (RNN) и сетей с долгой краткосрочной памятью (LSTM). Однако эти модели имели ограниченную ёмкость и не могли улавливать долгосрочные зависимости в тексте. В 2013 году была предложена архитектура word2vec, позволяющая получать векторные представления слов (эмбеддинги), но она не учитывала контекст.

Прорыв: архитектура Transformer

В 2017 году исследователи Google опубликовали статью «Attention is All You Need», в которой предложили архитектуру Transformer. Её ключевое нововведение — механизм самовнимания (self-attention), позволяющий модели учитывать взаимосвязи между всеми словами в последовательности одновременно, а не последовательно, как в RNN. Это радикально повысило эффективность обучения и масштабируемость.

Эра больших языковых моделей

Первой крупной LLM стала GPT-1 (OpenAI, 2018) с 117 миллионами параметров, продемонстрировавшая эффективность генеративного предобучения. GPT-2 (2019, 1,5 млрд параметров) показала способность генерировать связные тексты, что вызвало опасения по поводу её возможного злоупотребления. GPT-3 (2020, 175 млрд параметров) стала прорывом: она могла выполнять множество задач без дообучения, просто получая инструкцию на естественном языке (prompt). В 2022 году ChatGPT (на базе GPT-3.5 и GPT-4) сделал LLM массово доступными.

Параллельно развивались открытые модели: серия BERT (Google, 2018) — энкодерная модель, оптимизированная для понимания текста; LLaMA (Meta, 2023 — организация признана экстремистской и запрещена в РФ); Falcon (Technology Innovation Institute, ОАЭ); Mistral (Франция). В России активно разрабатываются модели YandexGPT (Yandex), GigaChat (Сбер), RuGPT (SberDevices) и другие.

Архитектура и принцип работы

Transformer

Основой большинства современных LLM является архитектура Transformer. Она состоит из двух частей:

• Энкодер (кодировщик) — читает входной текст и преобразует его в последовательность векторных представлений.
• Декодер (декодировщик) — генерирует выходной текст по одному токену (слову или части слова) за раз, опираясь на представления энкодера и уже сгенерированные токены.

Многие модели (например, GPT) используют только декодер, а BERT — только энкодер.

Механизм самовнимания

Самовнимание позволяет модели для каждого токена определить, на какие другие токены во входной последовательности следует «обратить внимание» и с каким весом. Это даёт возможность улавливать контекстные зависимости, например, что в предложении «Она положила книгу на стол, который стоял в углу» слово «который» относится к «столу», а не к «книге».

Обучение

Обучение LLM проходит в два этапа:

1. Предобучение (pre-training) — на огромном корпусе текстов (интернет, книги, научные статьи) модель учится предсказывать следующее слово в последовательности (для декодерных моделей) или маскированное слово (для энкодерных). Это требует огромных вычислительных ресурсов (тысячи GPU/TPU в течение недель или месяцев).
2. Дообучение (fine-tuning) — модель адаптируется под конкретную задачу (например, ответы на вопросы, перевод) на размеченных данных. Для ChatGPT также применялось обучение с подкреплением на основе обратной связи от человека (RLHF — Reinforcement Learning from Human Feedback).

Классификация

По типу архитектуры

• Декодерные (GPT, LLaMA, Mistral) — генерируют текст, хороши для творческих задач и диалогов.
• Энкодерные (BERT, RoBERTa) — понимают текст, хороши для классификации, извлечения информации, анализа тональности.
• Энкодер-декодерные (T5, BART) — универсальны, подходят для перевода, реферирования.

По размеру

• Малые (до 1 млрд параметров) — могут работать на потребительском оборудовании.
• Средние (1-10 млрд) — требуют серверных GPU.
• Крупные (10-100 млрд) — требуют кластеров GPU.
• Гигантские (более 100 млрд) — GPT-4, PaLM (Google), Gemini.

По открытости

• Проприетарные — код и веса модели закрыты, доступ через API (GPT-4, Claude, YandexGPT).
• Открытые — веса и/или код доступны для скачивания и модификации (LLaMA, Falcon, Mistral, RuGPT).

Применение

Генерация текста

• Написание статей, эссе, сценариев, стихов, кода.
• Создание контента для социальных сетей и рекламы.
• Машинный перевод, реферирование, перефразирование.

Анализ и понимание текста

• Классификация текстов (спам, тональность, тематика).
• Извлечение именованных сущностей (люди, организации, даты).
• Ответы на вопросы по документам (Question Answering).

Интерактивные системы

• Чат-боты и виртуальные ассистенты (ChatGPT, GigaChat, Алиса).
• Образовательные системы (объяснение сложных понятий, проверка знаний).
• Помощники в программировании (GitHub Copilot, Codeium).

Научные исследования

• Анализ геномных последовательностей (модели для биологии).
• Открытие новых материалов (генерация химических формул).
• Обработка естественно-научных текстов.

Критика и ограничения

Фактологические ошибки и галлюцинации

LLM могут генерировать правдоподобные, но ложные утверждения (галлюцинации). Они не имеют внутреннего понимания истинности и не могут проверять факты. Модель может «выдумать» цитату, дату или событие.

Предвзятость и дискриминация

Обучаясь на данных из интернета, LLM усваивают стереотипы и предрассудки, присутствующие в обществе. Это может приводить к дискриминационным высказываниям по признаку пола, расы, возраста и т.д.

Затраты ресурсов

Обучение и эксплуатация крупных LLM требуют огромных вычислительных мощностей и электроэнергии, что вызывает экологические и экономические опасения. Оценка выбросов CO₂ при обучении GPT-3 составила около 550 тонн.

Безопасность и злоупотребление

LLM могут использоваться для создания дезинформации, фишинговых писем, вредоносного кода. Существуют риски, связанные с утечкой конфиденциальных данных, если модель обучена на приватной информации.

Отсутствие понимания и сознания

LLM не обладают сознанием, намерениями или пониманием смысла. Они работают на основе статистических закономерностей в тексте, а не на логике или рассуждениях. Это ограничивает их применение в задачах, требующих глубокого анализа или моральной оценки.

Перспективы развития

Основные направления исследований включают:

• Улучшение фактологической точности — интеграция с базами знаний и поисковыми системами (Retrieval-Augmented Generation, RAG).
• Снижение затрат — разработка более эффективных архитектур (Mixture of Experts, квантование, дистилляция).
• Мультимодальность — модели, работающие с текстом, изображениями, звуком и видео (GPT-4V, Gemini).
• Объяснимость — создание методов, позволяющих понять, почему модель приняла то или иное решение.
• Регулирование — разработка законодательства (например, в ЕС — AI Act, в РФ — Федеральный закон «Об экспериментальных правовых режимах в сфере цифровых инноваций»), направленного на безопасное использование LLM.

Источники

• Vaswani, A., et al. (2017). Attention is All You Need. Advances in Neural Information Processing Systems.
• Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT.
• Touvron, H., et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971.
• Bubeck, S., et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
• Официальные документы и пресс-релизы компаний Yandex и Сбер (2023-2024).