Юрген Шмидхубер

Юрген Шмидхубер (нем. Jürgen Schmidhuber; род. 17 января 1963, Мюнхен) — немецкий учёный в области информатики и искусственного интеллекта, известный прежде всего работами в области рекуррентных нейронных сетей, глубокого обучения и математической теории универсального поиска. Наиболее значимый вклад — создание и развитие архитектуры долгой краткосрочной памяти (LSTM), которая стала ключевой технологией в обработке последовательных данных (речь, текст, временные ряды) и широко применяется в современных системах искусственного интеллекта.

Биография

Юрген Шмидхубер родился в Мюнхене (ФРГ) в 1963 году. В 1987 году окончил Мюнхенский технический университет по специальности «информатика». В 1991 году защитил докторскую диссертацию в том же университете, посвящённую обучению рекуррентных нейронных сетей с помощью алгоритма обратного распространения ошибки во времени. В 1990-е годы работал в Институте биоинформатики Общества Макса Планка (Гёттинген) и в Институте нейроинформатики в Цюрихе (Швейцария). С 1995 года — профессор Университета Лугано (Швейцария), где основал Лабораторию искусственного интеллекта. В 2009 году перешёл в Швейцарский федеральный технологический институт (ETH) в Цюрихе, где возглавил лабораторию робототехники и искусственного интеллекта. В 2014 году основал компанию Nnaisense, занимающуюся коммерциализацией технологий глубокого обучения. Является членом Европейской академии наук и искусств.

Научные достижения

Рекуррентные нейронные сети и LSTM

Основной вклад Шмидхубера — разработка архитектуры долгой краткосрочной памяти (Long Short-Term Memory, LSTM), впервые предложенной в 1997 году совместно с Зеппом Хохрейтером. LSTM решает проблему затухания и взрыва градиентов при обучении рекуррентных нейронных сетей, позволяя им запоминать информацию на длительные промежутки времени. Благодаря этому LSTM стала стандартом для задач, связанных с последовательными данными: машинный перевод, распознавание речи, генерация текста, анализ временных рядов. К 2020-м годам LSTM использовалась в большинстве крупных систем обработки естественного языка, включая Google Translate, Siri (Apple) и Alexa (Amazon).

Теория универсального поиска и мета-обучение

Шмидхубер внёс вклад в математическую теорию универсального поиска, основанную на работах Рэя Соломонова. Он разработал алгоритм Gödel Machine — самореферентную систему, способную модифицировать собственный код для оптимизации производительности. Также предложил концепцию мета-обучения (learning to learn), где нейросеть обучается настраивать параметры другой нейросети. Эти идеи повлияли на развитие методов обучения с подкреплением и автоматического поиска архитектур нейросетей (Neural Architecture Search).

Теория любопытства и искусственное творчество

В 1990-х годах Шмидхубер предложил формальную модель искусственного любопытства — механизма, побуждающего агента искать новые, непредсказуемые ситуации для максимизации долгосрочного обучения. Эта модель используется в робототехнике для создания систем, которые самостоятельно исследуют среду без внешней цели. Также разработал теорию искусственного творчества, основанную на принципе компрессии данных: творческий процесс интерпретируется как поиск новых, более компактных описаний наблюдаемых закономерностей.

Вклад в глубокое обучение

Шмидхубер одним из первых применил методы глубокого обучения (многослойные нейронные сети) к задачам распознавания образов и обработки естественного языка. В 2000-х годах его лаборатория достигла рекордных результатов на бенчмарках распознавания рукописного текста (MNIST) и распознавания речи. Работы Шмидхубера оказали влияние на развитие архитектур, таких как сверточные нейронные сети (CNN) и трансформеры, хотя сам он критиковал трансформеры за неэффективность по сравнению с LSTM.

Критика и противоречия

Шмидхубер известен активной защитой приоритета своих работ в области глубокого обучения. Он неоднократно заявлял, что многие ключевые идеи, приписываемые другим исследователям (например, Йошуа Бенжио, Джеффри Хинтону, Яну Лекуну), были впервые сформулированы в его публикациях 1990-х годов. В частности, он оспаривает приоритет в создании генеративно-состязательных сетей (GAN) и методов обучения с подкреплением. Эти утверждения вызывают споры в научном сообществе; некоторые коллеги считают их преувеличенными, другие признают частичную обоснованность.

Шмидхубер также критикует современное направление исследований в области искусственного интеллекта, ориентированное на масштабирование моделей (увеличение числа параметров и объёмов данных), называя его «тупиковым путём». Он утверждает, что будущее ИИ связано с мета-обучением, самореференцией и универсальным поиском, а не с простым наращиванием вычислительных мощностей.

Применение и влияние

Работы Шмидхубера нашли широкое применение в коммерческих продуктах и научных исследованиях:

• Распознавание речи: LSTM используется в системах Google, Apple, Microsoft, Amazon.
• Машинный перевод: Google Translate с 2016 года использует LSTM-сети.
• Медицина: анализ временных рядов ЭКГ, прогнозирование эпилептических припадков.
• Финансы: прогнозирование цен акций, анализ рыночных данных.
• Робототехника: системы управления, основанные на искусственном любопытстве.

По состоянию на 2024 год, работы Шмидхубера имеют более 200 000 цитирований (по данным Google Scholar), что делает его одним из самых цитируемых учёных в области искусственного интеллекта.

Интересные факты

• Шмидхубер является автором более 300 научных публикаций.
• В 2016 году получил премию IEEE Neural Networks Pioneer Award.
• Основал компанию Nnaisense, которая занимается разработкой систем управления для роботов и автономных транспортных средств.
• Является одним из главных популяризаторов идеи «искусственного интеллекта общего назначения» (AGI) и регулярно выступает с лекциями на эту тему.
• В 2022 году заявил, что его работы по LSTM и мета-обучению легли в основу современных больших языковых моделей, таких как GPT-4, хотя это утверждение оспаривается разработчиками OpenAI.

Источники

• Schmidhuber, J. (2015). Deep Learning in Neural Networks: An Overview. Neural Networks, 61, 85-117.
• Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735-1780.
• Schmidhuber, J. (2007). Gödel Machines: Fully Self-Referential Optimal Universal Problem Solvers. Journal of Artificial Intelligence Research, 28, 1-47.
• Schmidhuber, J. (2010). Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990–2010). IEEE Transactions on Autonomous Mental Development, 2(3), 230-247.
• Биография на сайте Швейцарского федерального технологического института (ETH Zurich).
• Интервью и публичные выступления Юргена Шмидхубера (2016–2023).