Long Short-Term Memory

Long Short-Term Memory (LSTM, долгая краткосрочная память) — это разновидность архитектуры рекуррентных нейронных сетей (RNN), предназначенная для эффективного обучения на последовательных данных с длительными временными зависимостями. LSTM решает фундаментальную проблему классических RNN — исчезающий или взрывающийся градиент, что позволяет сети запоминать информацию на протяжении сотен и тысяч временных шагов.

История

Архитектура LSTM была предложена в 1997 году немецкими исследователями Зеппом Хохрайтером (Sepp Hochreiter) и Юргеном Шмидхубером (Jürgen Schmidhuber) в работе «Long Short-Term Memory». Первоначально LSTM была разработана для преодоления ограничений стандартных RNN, которые не могли эффективно обрабатывать последовательности длиной более 10–20 шагов из-за затухания градиентов при обратном распространении ошибки.

В 2000 году Феликс Герс (Felix Gers) и Юрген Шмидхубер добавили в архитектуру «забывающий шлюз» (forget gate), что позволило сети динамически определять, какую информацию следует сохранять, а какую — отбрасывать. Эта модификация стала стандартной для современных реализаций LSTM.

С 2010-х годов LSTM стала одной из ключевых архитектур в области обработки естественного языка (NLP), распознавания речи, машинного перевода и прогнозирования временных рядов. В 2015 году LSTM была применена в системе Google Voice Search, что привело к снижению частоты ошибок распознавания речи на 49% по сравнению с предыдущими подходами.

Устройство и принцип работы

В отличие от обычных рекуррентных нейронов, которые имеют простую структуру с одним слоем, LSTM-ячейка (LSTM cell) содержит четыре взаимодействующих компонента: три шлюза (входной, выходной, забывающий) и состояние ячейки (cell state). Это позволяет сети избирательно запоминать, забывать и выводить информацию.

Состояние ячейки

Центральным элементом LSTM является состояние ячейки (cell state) — горизонтальная линия, проходящая через всю ячейку. Оно служит «конвейером», по которому информация может передаваться без существенных изменений, что предотвращает её потерю. Состояние ячейки может быть модифицировано только через шлюзы.

Шлюзы

Каждый шлюз представляет собой сигмоидальный слой (sigmoid layer) и операцию поточечного умножения. Сигмоида выводит значения от 0 до 1, где 0 означает «полностью заблокировать», а 1 — «полностью пропустить».

1. Забывающий шлюз (forget gate) решает, какую информацию из предыдущего состояния ячейки следует отбросить. Он принимает на вход скрытое состояние предыдущего шага \( h_{t-1} \) и текущий вход \( x_t \), пропуская их через сигмоидальный слой. Выход \( f_t \) (от 0 до 1) умножается на предыдущее состояние ячейки \( C_{t-1} \), удаляя ненужные данные.

1. Входной шлюз (input gate) определяет, какие новые значения будут добавлены в состояние ячейки. Он состоит из двух частей:

• Сигмоидальный слой \( i_t \), решающий, какие значения обновлять.
• Слой гиперболического тангенса (tanh), создающий вектор новых кандидатов \( \tilde{C}_t \).

Затем \( i_t \) и \( \tilde{C}_t \) перемножаются, и результат добавляется к состоянию ячейки.

1. Выходной шлюз (output gate) управляет тем, какая часть состояния ячейки будет выведена в скрытое состояние \( h_t \). Сигмоидальный слой \( o_t \) определяет, какие части состояния ячейки будут экспортированы, после чего состояние ячейки пропускается через tanh и умножается на \( o_t \).

Формальное описание

Для временного шага \( t \) с входом \( x_t \), предыдущим скрытым состоянием \( h_{t-1} \) и предыдущим состоянием ячейки \( C_{t-1} \) вычисления выполняются по следующим формулам:

• \( f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \) — забывающий шлюз
• \( i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \) — входной шлюз
• \( \tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C) \) — кандидат в состояние ячейки
• \( C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t \) — обновлённое состояние ячейки
• \( o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \) — выходной шлюз
• \( h_t = o_t \odot \tanh(C_t) \) — новое скрытое состояние

Где \( \sigma \) — сигмоидальная функция, \( \odot \) — поточечное умножение, \( W \) — матрицы весов, \( b \) — смещения.

Разновидности и модификации

LSTM с «забывающим шлюзом»

Стандартная версия LSTM, описанная выше, включает забывающий шлюз. Эта архитектура является наиболее распространённой.

LSTM с «глазком» (peephole connections)

В некоторых реализациях шлюзы получают доступ не только к скрытому состоянию \( h_{t-1} \), но и к состоянию ячейки \( C_{t-1} \). Это позволяет шлюзам «заглядывать» в состояние ячейки при принятии решений. Такая модификация была предложена Герсом и Шмидхубером в 2000 году.

Двунаправленная LSTM (BiLSTM)

Двунаправленная LSTM состоит из двух независимых LSTM-слоёв: один обрабатывает последовательность в прямом направлении (от начала к концу), другой — в обратном (от конца к началу). Затем их скрытые состояния объединяются (конкатенация или суммирование). BiLSTM позволяет учитывать контекст как слева, так и справа от текущего элемента, что особенно полезно в задачах NLP, таких как распознавание именованных сущностей (NER) и машинный перевод.

Многослойная LSTM (Stacked LSTM)

Несколько LSTM-слоёв могут быть наложены друг на друга, где выходы одного слоя служат входами для следующего. Это увеличивает ёмкость модели и способность изучать более сложные иерархические зависимости в данных.

LSTM с механизмом внимания (Attention)

Хотя LSTM сама по себе не включает механизм внимания, на практике её часто комбинируют с механизмами внимания для улучшения производительности на задачах с длинными последовательностями. Механизм внимания позволяет модели динамически взвешивать важность различных частей входной последовательности при генерации выхода.

Применение

LSTM нашла широкое применение в областях, где данные имеют последовательную природу.

Обработка естественного языка (NLP)

• Машинный перевод: LSTM-модели (часто в архитектуре «кодировщик-декодировщик») используются для перевода текстов между языками. Примером служит система Google Neural Machine Translation (GNMT), внедрённая в 2016 году.
• Генерация текста: LSTM способна генерировать связные тексты, имитируя стиль автора или предметную область.
• Распознавание именованных сущностей (NER): BiLSTM с CRF-слоем (Conditional Random Field) является стандартным подходом для выделения имён, организаций, дат и других сущностей из текста.
• Анализ тональности: Определение эмоциональной окраски текста (положительная, отрицательная, нейтральная).

Распознавание речи

LSTM применяется для акустического моделирования в системах автоматического распознавания речи (ASR). Например, в 2015 году Google заменил традиционные модели на LSTM в Google Voice Search, что привело к значительному снижению частоты ошибок. LSTM также используется в системах синтеза речи (text-to-speech).

Прогнозирование временных рядов

LSTM широко используется для прогнозирования финансовых рынков (цены акций, курсы валют), погоды, спроса на электроэнергию, трафика и других временных рядов. Её способность запоминать долгосрочные зависимости делает её предпочтительной перед методами ARIMA и простыми RNN.

Видеоанализ и компьютерное зрение

LSTM применяется для анализа видеопоследовательностей: распознавание действий, отслеживание объектов, генерация описаний видео. В сочетании со свёрточными нейронными сетями (CNN) LSTM обрабатывает временные зависимости между кадрами.

Медицина

В медицинской диагностике LSTM используется для анализа электрокардиограмм (ЭКГ), электроэнцефалограмм (ЭЭГ) и других биосигналов, а также для прогнозирования заболеваний на основе временных рядов показателей пациентов.

Преимущества и недостатки

Преимущества

• Решение проблемы исчезающего градиента: Благодаря состоянию ячейки и шлюзам LSTM может эффективно обучаться на последовательностях длиной до нескольких тысяч шагов.
• Гибкость: LSTM может быть адаптирована для различных типов данных и задач путём изменения архитектуры (BiLSTM, Stacked LSTM).
• Хорошая производительность: Во многих задачах LSTM превосходит классические RNN и методы машинного обучения.

Недостатки

• Высокая вычислительная сложность: LSTM требует больше параметров и времени на обучение по сравнению с простыми RNN или GRU (Gated Recurrent Unit).
• Склонность к переобучению: При недостаточном объёме данных или неправильной регуляризации LSTM может переобучаться.
• Сложность интерпретации: Внутренние механизмы LSTM (шлюзы, состояние ячейки) трудно поддаются визуализации и объяснению.

Сравнение с GRU

Gated Recurrent Unit (GRU) — это упрощённая версия LSTM, предложенная в 2014 году Кюнхёном Чо (Kyunghyun Cho). GRU объединяет забывающий и входной шлюзы в один «шлюз обновления» (update gate) и не имеет отдельного состояния ячейки. GRU имеет меньше параметров, что ускоряет обучение и снижает риск переобучения, но часто показывает сопоставимую с LSTM производительность на многих задачах. Выбор между LSTM и GRU зависит от конкретной задачи и объёма данных.

Современное состояние и альтернативы

С середины 2010-х годов LSTM постепенно вытесняется архитектурами на основе трансформеров (Transformer, BERT, GPT), которые используют механизм самовнимания (self-attention) и параллельную обработку последовательностей. Трансформеры превосходят LSTM по производительности во многих задачах NLP, особенно при работе с очень длинными последовательностями. Однако LSTM остаётся востребованной для задач с ограниченными вычислительными ресурсами, для обработки временных рядов и в случаях, когда важна интерпретируемость.

Источники

• Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
• Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to Forget: Continual Prediction with LSTM. Neural Computation, 12(10), 2451–2471.
• Cho, K., van Merriënboer, B., Gulcehre, C., et al. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. arXiv preprint arXiv:1406.1078.
• Graves, A., Mohamed, A., & Hinton, G. (2013). Speech Recognition with Deep Recurrent Neural Networks. IEEE International Conference on Acoustics, Speech and Signal Processing.
• Olah, C. (2015). Understanding LSTM Networks. colah.github.io.
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.