Джеффри Хинтон

Джеффри Хинтон (англ. Geoffrey Hinton; род. 6 декабря 1947, Лондон, Великобритания) — британско-канадский учёный в области компьютерных наук, когнитивной психологии и искусственного интеллекта, один из пионеров и ключевых фигур в развитии глубокого обучения (deep learning). Наиболее известен как создатель метода обратного распространения ошибки (backpropagation) в многослойных нейронных сетях, а также как разработчик алгоритмов обучения ограниченных машин Больцмана (Restricted Boltzmann Machines) и глубоких сетей доверия (Deep Belief Networks). Лауреат премии Тьюринга (2018) совместно с Йошуа Бенжио и Яном ЛеКуном за концептуальные и инженерные прорывы, сделавшие глубокие нейронные сети критическим компонентом вычислительной техники. В 2024 году удостоен Нобелевской премии по физике за фундаментальные открытия и изобретения, связанные с машинным обучением и искусственными нейронными сетями.

Биография

Ранние годы и образование

Джеффри Хинтон родился в семье учёных. Его отец, Говард Хинтон, был энтомологом, мать — учительницей. Прапрадед, Джордж Буль, — основоположник математической логики и булевой алгебры. Детство провёл в Бристоле. В 1970 году получил степень бакалавра по экспериментальной психологии в Кембриджском университете, где заинтересовался моделированием работы мозга. В 1978 году защитил докторскую диссертацию (Ph.D.) по искусственному интеллекту в Эдинбургском университете, посвящённую нейросетевым моделям памяти.

Научная карьера

После защиты диссертации Хинтон столкнулся с трудностями в получении финансирования, так как в 1970–1980-х годах исследования нейронных сетей находились в упадке (так называемая «зима искусственного интеллекта»). В 1982 году он переехал в США, работал в Университете Карнеги — Меллона, а затем в 1987 году — в Канаду, в Университет Торонто, где получил должность профессора и продолжал исследования до выхода на пенсию в 2023 году.

В 2012 году Хинтон и его студенты (Алекс Крижевский, Илья Суцкевер) создали нейросеть AlexNet, которая с большим отрывом выиграла соревнование ImageNet по распознаванию изображений. Этот успех считается переломным моментом в возрождении и массовом внедрении глубокого обучения. В 2013 году Хинтон основал DNNResearch, которую вскоре приобрёл Google. До 2023 года он работал в Google Brain, а затем покинул компанию, публично выразив обеспокоенность рисками неконтролируемого развития искусственного интеллекта.

Основные научные достижения

Обратное распространение ошибки (backpropagation)

Хинтон не был первооткрывателем этого алгоритма (первые версии были предложены в 1960-х годах), но в 1986 году совместно с Дэвидом Румельхартом и Рональдом Уильямсом опубликовал статью, в которой показал, как эффективно применять обратное распространение ошибки для обучения многослойных нейронных сетей. Эта работа стала основой для большинства современных систем глубокого обучения.

Ограниченные машины Больцмана (RBM)

В 1986 году Хинтон разработал ограниченную машину Больцмана — стохастическую нейронную сеть, способную обучаться без учителя. RBM стали основой для построения глубоких сетей доверия (Deep Belief Networks), которые позволили обучать глубокие нейронные сети, избегая проблем затухания градиента.

Глубокие сети доверия (DBN)

В 2006 году Хинтон и его коллеги опубликовали работу, в которой предложили метод послойного предобучения (greedy layer-wise pretraining) для глубоких нейронных сетей с использованием RBM. Этот подход позволил обучать сети с большим числом слоёв, что до этого было крайне затруднительно. Работа считается одним из ключевых моментов, положивших начало эпохе глубокого обучения.

AlexNet и прорыв в компьютерном зрении

В 2012 году команда Хинтона (Алекс Крижевский, Илья Суцкевер) представила архитектуру AlexNet, которая использовала свёрточные нейронные сети (CNN) и обучение на графических процессорах (GPU). AlexNet показала значительно более высокую точность распознавания изображений на конкурсе ImageNet, чем традиционные методы машинного обучения, что привело к быстрому внедрению глубокого обучения в промышленности.

Капсульные сети (Capsule Networks)

В 2017–2018 годах Хинтон предложил альтернативную архитектуру нейронных сетей — капсульные сети (CapsNets). В отличие от традиционных свёрточных сетей, капсульные сети пытаются моделировать пространственные иерархические отношения между частями объектов, что потенциально может улучшить обобщение и устойчивость к деформациям изображений. Однако практическое применение капсульных сетей пока ограничено.

Критика и общественная позиция

Опасения по поводу ИИ

Начиная с 2023 года, после ухода из Google, Хинтон активно выступает с предупреждениями о возможных катастрофических последствиях развития сильного искусственного интеллекта (AGI). Он указывает на риски потери контроля над системами, которые могут стать умнее человека, а также на угрозу массового распространения дезинформации и автоматизации труда. В 2023 году он подписал открытое письмо, призывающее к шестимесячному мораторию на обучение систем, более мощных, чем GPT-4.

Критика его подхода

Некоторые исследователи (например, Юрген Шмидхубер) критикуют Хинтона за то, что он приписывает себе слишком много заслуг в разработке обратного распространения ошибки, тогда как аналогичные идеи были предложены ранее. Также высказываются сомнения в перспективности капсульных сетей, которые пока не показали значительного превосходства над современными архитектурами.

Награды и признание

• Премия Тьюринга (2018) — совместно с Йошуа Бенжио и Яном ЛеКуном.
• Нобелевская премия по физике (2024) — за фундаментальные открытия в области машинного обучения и искусственных нейронных сетей.
• Член Королевского общества (1998).
• Член Канадского королевского общества (2010).
• Медаль Дэвида Руммельхарта (2001).
• Премия «За прорыв» в области математики (2024).

Влияние на индустрию

Работы Хинтона напрямую привели к созданию современных систем распознавания речи (Google Voice, Siri), компьютерного зрения (автономные автомобили, медицинская диагностика), а также генеративных моделей (GPT, DALL-E). Многие ведущие исследователи в области ИИ (например, Илья Суцкевер, Алекс Крижевский, Ян Гудфеллоу) были его учениками или постдоками. В 2024 году Хинтон стал одним из самых цитируемых учёных в мире по версии Clarivate.

Источники

• Hinton, G. E., Rumelhart, D. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.
• Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural Computation, 18(7), 1527–1554.
• Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems, 25, 1097–1105.
• Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic routing between capsules. Advances in Neural Information Processing Systems, 30.
• Hinton, G. E. (2023). The threat from artificial intelligence. The New York Times (интервью).
• Нобелевский комитет (2024). Пресс-релиз о присуждении Нобелевской премии по физике.