Языковые модели¶

Языковая модель — это вероятностная модель последовательности слов (или токенов), предназначенная для предсказания следующего элемента в последовательности на основе предыдущих. Языковые модели являются фундаментальным компонентом систем обработки естественного языка (NLP) и лежат в основе таких приложений, как машинный перевод, распознавание речи, генерация текста и информационный поиск.

¶Основные принципы работы

В основе любой языковой модели лежит задача оценки вероятности появления последовательности слов \( w_1, w_2, \dots, w_n \) в данном языке. Формально это выражается как совместная вероятность \( P(w_1, w_2, \dots, w_n) \). Используя цепное правило вероятностей, эту величину можно разложить на произведение условных вероятностей:

\[ P(w_1, w_2, \dots, w_n) = P(w_1) \cdot P(w_2 | w_1) \cdot P(w_3 | w_1, w_2) \cdot \ldots \cdot P(w_n | w_1, \dots, w_{n-1}) \]

Задача модели — вычислить эти условные вероятности на основе статистики, извлечённой из большого корпуса текстов. Чем точнее модель оценивает вероятность, тем более «естественными» и грамматически корректными будут генерируемые ею последовательности.

¶История развития

¶Статистические модели (N-граммы)

Первые успешные языковые модели были основаны на N-граммах — последовательностях из \( N \) слов. Вероятность следующего слова оценивалась по частоте встречаемости N-грамм в обучающем корпусе. Например, для биграммы (N=2) вероятность \( P(w_n | w_{n-1}) \) вычислялась как отношение числа вхождений пары \( w_{n-1} w_n \) к числу вхождений слова \( w_{n-1} \). Основным недостатком N-грамм была «проклятие размерности»: с ростом N количество возможных N-грамм экспоненциально возрастало, и большинство из них не встречались в обучающих данных, что требовало применения методов сглаживания (например, сглаживание Лапласа или метод Кнезера — Нея).

¶Нейросетевые модели

Переломным моментом стало использование нейронных сетей. В 2003 году Йошуа Бенжио предложил нейросетевую языковую модель, которая представляла слова в виде плотных векторов (эмбеддингов) и обучалась предсказывать следующее слово, используя скрытые слои. Это позволило модели обобщать информацию о семантически близких словах.

¶Рекуррентные нейронные сети (RNN)

Долгое время доминирующим подходом были рекуррентные нейронные сети, особенно их модификации — LSTM (Long Short-Term Memory) и GRU (Gated Recurrent Unit). RNN обрабатывали последовательность слов пошагово, сохраняя скрытое состояние, которое передавало информацию о предыдущих элементах. Это позволяло учитывать контекст произвольной длины, в отличие от фиксированного окна N-грамм.

¶Трансформеры

В 2017 году исследователи Google представили архитектуру Transformer, которая полностью отказалась от рекуррентности в пользу механизма внимания (attention). Ключевое нововведение — самовнимание (self-attention), позволяющее модели взвешивать важность каждого слова в последовательности относительно всех других слов. Это дало возможность эффективно распараллеливать вычисления и обрабатывать гораздо более длинные контексты. Трансформеры стали основой для всех современных крупных языковых моделей.

¶Классификация языковых моделей

¶По способу обучения

• Авторегрессивные (каузальные) модели: предсказывают следующее слово, имея доступ только к предыдущим словам. Примеры: GPT (OpenAI), LLaMA (Meta — организация признана экстремистской и запрещена в РФ).
• Модели с маскированием (маскированные языковые модели): предсказывают случайно замаскированные слова в предложении, используя контекст с обеих сторон. Пример: BERT (Google).
• Модели типа «кодер-декодер»: комбинируют оба подхода, используя кодер для понимания входного текста и декодер для генерации выходного. Примеры: T5 (Google), BART (Meta — организация признана экстремистской и запрещена в РФ).

¶По размеру и доступности

• Открытые модели: веса и архитектура опубликованы для свободного использования и дообучения. Примеры: LLaMA (Meta — организация признана экстремистской и запрещена в РФ), Mistral, Qwen.
• Проприетарные модели: доступны только через API, внутренняя архитектура не раскрывается. Примеры: GPT-4 (OpenAI), Claude (Anthropic), Gemini (Google).

¶По области применения

• Общего назначения: обучены на огромных массивах текстов из интернета и способны выполнять широкий круг задач (перевод, реферирование, ответы на вопросы).
• Специализированные: дообучены на узких доменах (медицина, юриспруденция, программирование). Пример: Codex (OpenAI) для генерации кода.

¶Архитектура современных языковых моделей

Современные крупные языковые модели (LLM) строятся на основе архитектуры Transformer. Основные компоненты:

1. Эмбеддинги: каждому слову (токену) ставится в соответствие плотный вектор фиксированной размерности, кодирующий его семантическое значение.
2. Механизм самовнимания: вычисляет матрицу внимания, показывающую, насколько сильно каждое слово связано с каждым другим словом в последовательности. Многоголовое внимание (multi-head attention) позволяет модели одновременно анализировать разные типы связей.
3. Позиционное кодирование: поскольку трансформер не имеет встроенного понятия порядка слов, в эмбеддинги добавляются специальные сигналы, указывающие позицию токена в последовательности.
4. Прямосвязные слои (Feed-Forward Networks): применяются к каждому токену независимо, добавляя нелинейные преобразования.
5. Нормализация слоёв (Layer Normalization): стабилизирует обучение, нормализуя активации внутри слоя.

Ключевой характеристикой LLM является количество параметров (весов), которое может достигать сотен миллиардов (например, GPT-3 — 175 млрд, PaLM — 540 млрд). Обучение таких моделей требует огромных вычислительных ресурсов (тысячи GPU в течение нескольких месяцев) и больших объёмов данных (терабайты текста).

¶Применение

• Генерация текста: написание статей, писем, сценариев, стихов.
• Машинный перевод: перевод текстов между языками с учётом контекста.
• Автоматическое реферирование: сжатие длинных документов в краткие изложения.
• Чат-боты и виртуальные ассистенты: поддержание диалога, ответы на вопросы.
• Анализ тональности: определение эмоциональной окраски текста.
• Поиск информации: улучшение релевантности результатов поисковых систем.
• Генерация кода: написание и отладка программного кода по текстовым описаниям.

¶Критика и ограничения

1. Фактологическая неточность: модели могут генерировать правдоподобные, но ложные утверждения (явление «галлюцинаций»).
2. Предвзятость и стереотипы: обучаясь на данных из интернета, модели усваивают существующие в обществе предубеждения (расовые, гендерные, социальные).
3. Затраты ресурсов: обучение и эксплуатация LLM требуют значительных энергетических и вычислительных затрат.
4. Отсутствие понимания: модели оперируют статистическими закономерностями, а не обладают истинным пониманием смысла или причинно-следственных связей.
5. Проблемы безопасности: возможность использования для создания дезинформации, фишинговых писем, вредоносного кода.

¶Перспективы развития

Основные направления исследований включают: повышение эффективности обучения (например, через смешанные экспертные модели — Mixture of Experts), улучшение способности к рассуждению (chain-of-thought prompting), мультимодальность (объединение текста, изображений, звука), а также разработку методов контроля и выравнивания (alignment) для снижения рисков.

¶Источники

• Bengio, Y., Ducharme, R., Vincent, P., & Janvin, C. (2003). A neural probabilistic language model. Journal of Machine Learning Research.
• Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention is all you need. Advances in Neural Information Processing Systems.
• Brown, T. B., Mann, B., Ryder, N., et al. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.
• Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT.
• Jurafsky, D., & Martin, J. H. (2023). Speech and Language Processing (3rd ed. draft).