Свёрточная LSTM

Свёрточная LSTM (ConvLSTM, Convolutional LSTM) — это тип рекуррентной нейронной сети (RNN), в которой операции внутренних преобразований (входной, выходной и вентилей забывания) заменены со свёрточных на матричные умножения. В отличие от стандартной LSTM, оперирующей одномерными векторами, ConvLSTM использует свёртки для обработки многомерных данных, таких как изображения, видеопоследовательности или пространственно-временные ряды. Это позволяет модели одновременно учитывать как временные зависимости, так и пространственные структуры, что делает её особенно эффективной для задач, где данные имеют как пространственную, так и временную размерность (например, прогнозирование погоды, анализ видеопотоков, обработка последовательностей изображений).

История

Свёрточная LSTM была впервые предложена в 2015 году группой исследователей из Китая и США (Shi et al.) в работе «Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting». Основной мотивацией стало ограничение стандартной LSTM, которая, работая с векторами, теряет пространственную информацию при преобразовании двумерных данных (например, кадров радара) в одномерные последовательности. Авторы предложили заменить матричные умножения в вентилях LSTM на свёрточные операции, что позволило сохранить пространственную структуру входных данных на всех этапах обработки.

Архитектура и принцип работы

Отличие от стандартной LSTM

В стандартной LSTM (Long Short-Term Memory) все внутренние преобразования (входной вентиль, вентиль забывания, выходной вентиль и состояние ячейки) реализуются через умножение входного вектора \(x_t\) и скрытого состояния \(h_{t-1}\) на весовые матрицы. Результат — одномерный вектор. В ConvLSTM эти операции заменяются на свёртки с ядрами (фильтрами), которые применяются к двумерным (или трёхмерным, с учётом каналов) тензорам. Таким образом, ConvLSTM принимает на вход не вектор, а тензор размерности (высота, ширина, каналы) и сохраняет пространственную структуру на всех временных шагах.

Уравнения ConvLSTM

Для временного шага \(t\) входной тензор \(X_t\) (например, кадр видео) и скрытое состояние \(H_{t-1}\) (тензор той же пространственной размерности) обрабатываются следующим образом:

• Вентиль забывания (\(f_t\)):

\(f_t = \sigma(W_{xf} X_t + W_{hf} H_{t-1} + b_f)\)

• Входной вентиль (\(i_t\)):

\(i_t = \sigma(W_{xi} X_t + W_{hi} H_{t-1} + b_i)\)

• Кандидат в состояние ячейки (\(\tilde{C}_t\)):

\(\tilde{C}_t = \tanh(W_{xc} X_t + W_{hc} H_{t-1} + b_c)\)

• Состояние ячейки (\(C_t\)):

\(C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t\)

• Выходной вентиль (\(o_t\)):

\(o_t = \sigma(W_{xo} X_t + W_{ho} H_{t-1} + b_o)\)

• Скрытое состояние (\(H_t\)):

\(H_t = o_t \odot \tanh(C_t)\)

Здесь \(*\) обозначает операцию свёртки (свёртку с ядром), \(\odot\) — поэлементное умножение (адамарово произведение), \(\sigma\) — сигмоидная функция активации, \(\tanh\) — гиперболический тангенс. Веса \(W\) — это свёрточные ядра (фильтры), а \(b\) — смещения (bias). Все тензоры (входные, скрытые состояния, состояния ячейки) имеют одинаковую пространственную размерность (высоту и ширину).

Ключевые особенности

• Сохранение пространственной структуры: благодаря свёрткам ConvLSTM обрабатывает данные как изображения, а не как векторы, что позволяет модели выявлять локальные пространственные паттерны (например, движение облаков, текстуры, границы объектов).
• Параметрическая эффективность: свёрточные ядра имеют небольшой размер (например, 3×3 или 5×5), что значительно уменьшает количество параметров по сравнению с полносвязными слоями, особенно при больших пространственных размерах.
• Параллельная обработка: свёртки могут быть эффективно реализованы на GPU, что ускоряет обучение и инференс.

Применение

Прогнозирование осадков (преципитация)

Оригинальная работа Shi et al. была посвящена прогнозированию осадков на основе последовательностей радарных изображений. ConvLSTM показала значительно лучшие результаты, чем стандартные методы (например, оптический поток или простая LSTM), так как учитывала как временную эволюцию облачных систем, так и их пространственную структуру.

Анализ видеопоследовательностей

ConvLSTM используется для задач, где важна пространственно-временная динамика:

• Распознавание действий: модель может обрабатывать последовательность кадров и выделять как пространственные признаки (позы, объекты), так и временные (движения, жесты).
• Прогнозирование следующего кадра: на основе предыдущих кадров видео ConvLSTM предсказывает следующий кадр, что полезно для сжатия видео, анимации или моделирования физических процессов.
• Сегментация видео: ConvLSTM применяется для семантической сегментации объектов в видеопотоке, где необходимо учитывать временную согласованность.

Обработка пространственно-временных рядов

• Метеорология и климатология: прогнозирование температуры, ветра, влажности на основе пространственных данных (например, сеток метеостанций или спутниковых снимков).
• Транспортные потоки: моделирование движения автомобилей на основе данных с камер или датчиков, где пространственная структура дорожной сети важна для прогноза заторов.
• Медицинская визуализация: анализ последовательностей МРТ или КТ-снимков для отслеживания изменений во времени (например, рост опухоли).

Генерация последовательностей

ConvLSTM используется в генеративных моделях (например, в составе вариационных автокодировщиков или GAN) для создания реалистичных видеопоследовательностей, где пространственная и временная когерентность критична.

Разновидности и улучшения

• ConvLSTM с вниманием (Attention): добавление механизма внимания позволяет модели фокусироваться на наиболее релевантных пространственных областях в каждый момент времени.
• Двунаправленная ConvLSTM: обрабатывает последовательность как в прямом, так и в обратном направлении, что улучшает понимание контекста.
• Многослойная ConvLSTM: стекирование нескольких слоёв ConvLSTM позволяет извлекать иерархические пространственно-временные признаки (от мелких деталей до глобальных паттернов).
• Свёрточная GRU (ConvGRU): аналогичная архитектура на основе GRU (Gated Recurrent Unit), которая проще по структуре, но может быть менее выразительной.

Ограничения

• Вычислительная сложность: свёрточные операции на каждом временном шаге требуют значительных вычислительных ресурсов, особенно при больших пространственных размерах и длинных последовательностях.
• Проблема долгосрочных зависимостей: как и стандартная LSTM, ConvLSTM может испытывать трудности с запоминанием информации на очень длинных временных интервалах, хотя вентильная структура частично решает эту проблему.
• Чувствительность к гиперпараметрам: выбор размера ядра, количества фильтров, шага свёртки и количества слоёв существенно влияет на производительность и требует тщательной настройки.
• Необходимость больших объёмов данных: для обучения ConvLSTM требуется значительное количество размеченных пространственно-временных данных, что может быть проблемой в некоторых областях.

Сравнение с альтернативными подходами

• Стандартная LSTM + свёрточные слои: можно сначала извлечь пространственные признаки с помощью свёрточной нейронной сети (CNN) для каждого кадра, а затем подать полученные векторы в LSTM. Однако такой подход теряет пространственную структуру внутри LSTM, тогда как ConvLSTM сохраняет её на всех этапах, что часто даёт лучшие результаты для задач, где пространственная когерентность критична (например, прогнозирование осадков).
• 3D свёртки (3D CNN): 3D свёртки обрабатывают пространственно-временные данные как единый трёхмерный объём (время как третья размерность). Они эффективны для задач, где временные паттерны локальны и не требуют долгосрочной памяти. ConvLSTM, напротив, лучше подходит для задач, где важна последовательная обработка и запоминание информации на разных временных шагах.
• Трансформеры с пространственно-временным вниманием: современные архитектуры (например, Video Transformer) могут превосходить ConvLSTM по качеству на больших объёмах данных, но требуют значительно больше вычислительных ресурсов и памяти.

Источники

• Shi, X., Chen, Z., Wang, H., Yeung, D. Y., Wong, W. K., & Woo, W. C. (2015). Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Advances in Neural Information Processing Systems, 28.
• Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.
• Xingjian, S., Chen, Z., Wang, H., Yeung, D. Y., Wong, W. K., & Woo, W. C. (2015). Convolutional LSTM network: A machine learning approach for precipitation nowcasting. arXiv preprint arXiv:1506.04214.
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.