Контекстное окно

Контекстное окно (англ. context window) — это фиксированный объём входных данных (токенов), который языковая модель или другая нейросеть способна одновременно обрабатывать и учитывать при генерации ответа. Оно определяет максимальную длину текста, которую модель может «видеть» и анализировать в рамках одного запроса или сеанса взаимодействия, включая как сам запрос пользователя, так и предыдущие сообщения в диалоге.

История возникновения и развития

Концепция контекстного окна возникла с появлением рекуррентных нейронных сетей (RNN) и моделей на основе долгой краткосрочной памяти (LSTM), которые были способны обрабатывать последовательности данных, но имели серьёзные ограничения по длине из-за эффекта затухания градиентов. В этих архитектурах контекстное окно было неявным и, как правило, не превышало нескольких сотен токенов.

Прорыв произошёл с внедрением архитектуры трансформера (Transformer), предложенной в статье «Attention Is All You Need» (2017). Механизм самовнимания (self-attention) позволил модели одновременно учитывать все элементы входной последовательности, но его вычислительная сложность росла квадратично (O(n²)) относительно длины последовательности n. Это накладывало жёсткие аппаратные ограничения на размер контекстного окна.

Первые коммерческие модели, такие как GPT-2 (2019) и GPT-3 (2020), имели контекстное окно в 1024 и 2048 токенов соответственно. Рост производительности графических процессоров (GPU) и оптимизация архитектур (например, разреженное внимание, FlashAttention) позволили постепенно увеличивать этот показатель. К 2023—2024 годам модели с окном в 32 000, 100 000 и даже 1 000 000 токенов (например, Gemini 1.5 Pro от Google) стали доступны широкому кругу пользователей.

Устройство и принцип работы

Контекстное окно состоит из токенов — минимальных единиц текста, на которые модель разбивает входные данные. Токеном может быть слово, часть слова, символ или знак препинания. Среднее количество токенов в одном слове русского или английского языка составляет примерно 1,3–1,5.

При обработке запроса модель помещает все токены в контекстное окно и применяет к ним механизм внимания. Каждый токен «взаимодействует» с каждым другим токеном в окне, вычисляя степень их взаимного влияния. Это позволяет модели улавливать сложные зависимости, включая дальние связи между элементами текста.

Если длина входных данных превышает размер контекстного окна, модель вынуждена либо обрезать данные (отбрасывая самые старые или наименее релевантные токены), либо применять стратегию скользящего окна, при которой обрабатываются только последние N токенов. В чат-интерфейсах это часто проявляется как «забывание» моделью начала длинного диалога.

Ключевые параметры

• Максимальная длина — количество токенов, которое модель может принять за один раз. Измеряется в токенах (реже — в символах или словах).
• Эффективная длина — реальная длина, при которой модель сохраняет приемлемое качество обработки. Из-за особенностей внимания качество может снижаться по мере приближения к максимальной длине.
• Стоимость вычислений — объём оперативной памяти и времени, необходимый для обработки окна. Растёт квадратично относительно длины.

Классификация по размеру

Размер контекстного окна является одной из ключевых характеристик языковых моделей. По этому параметру модели условно делятся на несколько категорий:

Применение

Размер контекстного окна напрямую влияет на спектр задач, которые может решать модель. Основные области применения:

Обработка длинных документов

Модели с большим окном способны анализировать целиком книги, научные статьи, юридические контракты или техническую документацию. Пользователь может задать вопрос по всему тексту, не разбивая его на части.

Диалоговые системы и чат-боты

В чат-интерфейсах контекстное окно хранит историю диалога. Чем оно больше, тем дольше модель «помнит» предыдущие реплики и может поддерживать связный разговор на сложные темы.

Анализ кода

При работе с программным кодом большое окно позволяет модели видеть весь файл или модуль целиком, что улучшает понимание структуры программы, выявление ошибок и генерацию исправлений.

Мультимодальные задачи

В моделях, работающих с изображениями, аудио или видео (например, GPT-4V, Gemini), контекстное окно может включать не только текст, но и закодированные визуальные или звуковые данные. Это позволяет, например, анализировать длинные видеозаписи или наборы изображений.

Ограничения и проблемы

Квадратичная сложность вычислений

Основное техническое ограничение — рост требуемых вычислительных ресурсов пропорционально квадрату длины окна. Обработка окна в 1 000 000 токенов требует в миллион раз больше операций, чем обработка окна в 1 000 токенов, при прочих равных условиях.

Эффект «забывания» середины

Исследования показывают, что модели с большим окном часто хуже обрабатывают информацию, расположенную в середине входной последовательности, по сравнению с началом и концом. Этот феномен получил название «эффект потерянного в середине» (lost-in-the-middle).

Требования к памяти

Для хранения промежуточных вычислений механизма внимания требуется значительный объём оперативной памяти GPU. Например, модель с окном в 128 000 токенов может потребовать десятки гигабайт видеопамяти только для одного запроса.

Стоимость

Использование моделей со сверхбольшим окном обычно стоит дороже как в облачных API, так и при локальном развертывании из-за повышенного потребления ресурсов.

Пути преодоления ограничений

Для увеличения эффективной длины контекстного окна без пропорционального роста затрат применяются различные техники:

• Разреженное внимание (sparse attention) — модель вычисляет внимание не для всех пар токенов, а только для определённых групп (например, локальных соседей и случайно выбранных дальних токенов).
• FlashAttention — алгоритм, оптимизирующий вычисления на уровне GPU, позволяющий обрабатывать окна до 1 000 000 токенов на одном ускорителе.
• Скользящее окно (sliding window) — модель обрабатывает только последние N токенов, отбрасывая старые. Используется в некоторых архитектурах (например, Mistral 7B).
• Сжатие контекста — методы, при которых длинный контекст сжимается в более компактное представление (например, через суммаризацию или специальные токены-агрегаторы).

Интересные факты

• Модель GPT-4 в версии Turbo (ноябрь 2023) поддерживает окно до 128 000 токенов, что эквивалентно примерно 300 страницам текста.
• Gemini 1.5 Pro от Google (2024) имеет окно в 1 000 000 токенов и может обрабатывать до 11 часов аудио или целые библиотеки кода.
• Архитектура Mamba (2023), основанная на модели пространства состояний (SSM), демонстрирует линейную сложность O(n) по длине последовательности, что теоретически позволяет создавать модели с практически неограниченным контекстным окном.

Источники

• Vaswani, A. et al. (2017). «Attention Is All You Need». Advances in Neural Information Processing Systems.
• Liu, N. F. et al. (2023). «Lost in the Middle: How Language Models Use Long Contexts». arXiv:2307.03172.
• Dao, T. et al. (2022). «FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness». arXiv:2205.14135.
• Документация OpenAI по моделям GPT-4 и GPT-4 Turbo (2023–2024).
• Блог Google DeepMind о модели Gemini 1.5 (2024).
• Gu, A. & Dao, T. (2023). «Mamba: Linear-Time Sequence Modeling with Selective State Spaces». arXiv:2312.00752.