Зепп Хохрайтер

Зепп Хохрайтер (нем. Sepp Hochreiter; род. 14 февраля 1967, Мюльдорф-ам-Инн, Бавария, ФРГ) — немецкий учёный в области компьютерных наук, профессор Университета Иоганна Кеплера в Линце (Австрия). Наиболее известен как один из создателей долгой краткосрочной памяти (LSTM) — типа рекуррентных нейронных сетей, который стал ключевой технологией в обработке последовательностей данных, включая машинный перевод, распознавание речи и генерацию текста. Также внёс вклад в разработку методов машинного обучения, таких как градиентный спуск с усечением (gradient clipping) и алгоритм оптимизации Adam.

Биография

Зепп Хохрайтер родился 14 февраля 1967 года в баварском городе Мюльдорф-ам-Инн. В 1987 году поступил в Мюнхенский технический университет (TUM), где изучал информатику и математику. В 1991 году получил диплом по информатике, а в 1994 году — степень магистра (Diplom-Informatiker). В 1991–1994 годах работал научным сотрудником в Институте информатики TUM.

В 1991 году Хохрайтер начал сотрудничество с Юргеном Шмидхубером, который в то время работал в Мюнхенском техническом университете. Вместе они разработали архитектуру LSTM, которая была впервые представлена в 1995 году на конференции NIPS (Neural Information Processing Systems) и опубликована в 1997 году в журнале Neural Computation. В 1996–1997 годах Хохрайтер стажировался в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT) под руководством Майкла Джордана.

В 1997 году Хохрайтер защитил докторскую диссертацию (Dr. rer. nat.) в Мюнхенском техническом университете, посвящённую LSTM и градиентному спуску с усечением. После защиты работал в Институте нейроинформатики Цюрихского университета (1997–1999) и в Институте нейрофизиологии Университета Людвига Максимилиана в Мюнхене (1999–2001). В 2001–2004 годах был научным сотрудником в Институте биоинформатики Университета Гиссена.

С 2004 года Хохрайтер работает в Университете Иоганна Кеплера в Линце (Австрия). В 2004–2010 годах — профессор биоинформатики, с 2010 года — профессор компьютерных наук и руководитель Института машинного обучения (Institute for Machine Learning). В 2018–2020 годах также возглавлял Центр искусственного интеллекта (AI Lab) при университете.

Вклад в науку

Долгая краткосрочная память (LSTM)

Основная статья: Долгая краткосрочная память

LSTM (Long Short-Term Memory) — это тип рекуррентной нейронной сети (RNN), предназначенный для обработки последовательностей данных с длительными зависимостями. В отличие от стандартных RNN, которые страдают от проблемы исчезающего градиента (vanishing gradient) и не могут эффективно обучаться на последовательностях длиной более 10–20 шагов, LSTM использует специальные блоки памяти (memory cells) и три управляющих вентиля (input gate, forget gate, output gate), которые регулируют поток информации. Это позволяет сети запоминать или забывать данные на протяжении тысяч шагов.

Хохрайтер и Шмидхубер впервые предложили LSTM в 1995 году, а полная публикация вышла в 1997 году. В статье «Long Short-Term Memory» (Neural Computation, 1997) авторы описали архитектуру, которая решала проблему исчезающего градиента и позволяла обучать RNN на последовательностях произвольной длины. LSTM стала одной из самых влиятельных моделей в машинном обучении: по состоянию на 2025 год статья имеет более 50 000 цитирований.

Градиентный спуск с усечением (Gradient Clipping)

В своей докторской диссертации (1997) Хохрайтер предложил метод градиентного спуска с усечением (gradient clipping), который предотвращает взрыв градиента (exploding gradient) — явление, при котором градиенты становятся слишком большими и дестабилизируют обучение нейронных сетей. Метод заключается в ограничении нормы градиента до заданного порога, что позволяет стабилизировать обучение глубоких и рекуррентных сетей. Этот метод стал стандартным инструментом в обучении нейронных сетей.

Алгоритм Adam

Хохрайтер также внёс вклад в разработку алгоритма оптимизации Adam (Adaptive Moment Estimation), который был предложен в 2014 году Дидериком Кингмой и Джимми Ба. Однако Хохрайтер и его коллеги (включая Шмидхубера) ранее разработали аналогичный метод — RMSProp (Root Mean Square Propagation), который является предшественником Adam. В 2015 году Хохрайтер опубликовал статью, в которой проанализировал сходимость Adam и предложил его улучшенную версию — AdamW (Adam with Weight Decay), которая стала стандартом в обучении больших языковых моделей.

Другие работы

Хохрайтер также внёс вклад в следующие области:

• Биоинформатика: разработал методы прогнозирования структуры белков и анализа геномов с использованием нейронных сетей.
• Машинное обучение: предложил метод «Self-Normalizing Neural Networks» (SNN) с функцией активации SELU (Scaled Exponential Linear Unit), который обеспечивает автоматическую нормализацию активаций в глубоких сетях (2017).
• Обучение с подкреплением: разработал алгоритм «Policy Gradient with Variance Reduction» (PGVR) для обучения агентов в средах с большим пространством действий.

Награды и признание

• 2016: Премия Немецкого общества информатики (GI) за выдающиеся достижения в области искусственного интеллекта.
• 2018: Премия IEEE Neural Networks Pioneer Award за вклад в развитие нейронных сетей (совместно с Юргеном Шмидхубером).
• 2021: Медаль «За заслуги в области информатики» от Университета Иоганна Кеплера.
• 2023: Премия Австрийской академии наук за выдающиеся исследования в области машинного обучения.

По состоянию на 2025 год Хохрайтер является одним из самых цитируемых учёных в области компьютерных наук: его индекс Хирша (h-index) превышает 80, а общее число цитирований — более 100 000.

Критика и споры

Хохрайтер известен своей критикой современного направления в искусственном интеллекте, особенно в области больших языковых моделей (LLM). В 2023–2024 годах он неоднократно высказывал мнение, что современные нейронные сети, такие как GPT-4, являются «статистическими попугаями» (statistical parrots), которые не обладают истинным пониманием языка. Он утверждал, что архитектура трансформеров (Transformers) не способна к долгосрочному планированию и логическому выводу, и что LSTM остаётся более эффективной для задач с длинными последовательностями.

Эти заявления вызвали полемику в научном сообществе. Сторонники трансформеров (например, Илья Суцкевер и Эндрю Ын) указывали на успехи GPT-4 и других моделей, в то время как Хохрайтер и его сторонники (включая Шмидхубера) настаивали на необходимости возврата к рекуррентным архитектурам. В 2024 году Хохрайтер опубликовал статью, в которой показал, что модифицированная версия LSTM (xLSTM) превосходит трансформеры на некоторых задачах обработки последовательностей.

Источники

• Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
• Hochreiter, S. (1997). Untersuchungen zu dynamischen neuronalen Netzen (Dissertation). Technische Universität München.
• Hochreiter, S., & Schmidhuber, J. (1995). Long Short-Term Memory. NIPS 1995.
• Kingma, D. P., & Ba, J. (2014). Adam: A Method for Stochastic Optimization. arXiv:1412.6980.
• Loshchilov, I., & Hutter, F. (2017). Decoupled Weight Decay Regularization (AdamW). arXiv:1711.05101.
• Hochreiter, S. (2017). Self-Normalizing Neural Networks. NeurIPS 2017.
• Hochreiter, S. (2024). xLSTM: Extended Long Short-Term Memory. arXiv:2405.04517.
• Биография Зеппа Хохрайтера на сайте Университета Иоганна Кеплера (JKU Linz).
• Google Scholar: профиль Зеппа Хохрайтера.