Дэвид Румельхарт

Дэвид Эверетт Румельхарт (англ. David Everett Rumelhart; 12 июня 1942, Уэссел-Спрингс, Южная Дакота, США — 13 марта 2011, Анн-Арбор, Мичиган, США) — американский учёный в области когнитивной психологии, искусственного интеллекта и нейронаук. Один из основоположников коннекционизма — подхода в когнитивной науке, объясняющего познавательные процессы через работу нейронных сетей. Совместно с Джеймсом Макклелландом и группой PDP (Parallel Distributed Processing) разработал теоретические основы и алгоритмы обучения многослойных перцептронов, включая популяризацию метода обратного распространения ошибки (backpropagation). Его работы оказали значительное влияние на развитие нейросетевых технологий, когнитивной психологии и машинного обучения.

Биография

Ранние годы и образование

Дэвид Румельхарт родился в семье учителей. В 1964 году получил степень бакалавра по психологии и математике в Университете Южной Дакоты. В 1967 году защитил магистерскую диссертацию по психологии в Стэнфордском университете, а в 1969 году там же — докторскую диссертацию (Ph.D.) по математической психологии под руководством Роджера Шепарда. Его ранние исследования касались математических моделей памяти и обучения.

Научная карьера

С 1969 по 1970 год работал в Университете Калифорнии в Сан-Диего (UCSD). В 1970 году перешёл в Университет Калифорнии в Беркли, где преподавал до 1975 года. В 1975 году вернулся в UCSD, где стал профессором кафедры когнитивной науки. В 1980-е годы совместно с Джеймсом Макклелландом и другими исследователями основал группу PDP (Parallel Distributed Processing), которая стала центром развития коннекционистских моделей. В 1987 году перешёл в Стэнфордский университет, где возглавил кафедру психологии. В 1991 году из-за болезни (болезнь Пика, форма лобно-височной деменции) завершил научную деятельность. Умер в 2011 году.

Вклад в науку

Коннекционизм и параллельная распределённая обработка

Румельхарт был одним из главных идеологов коннекционизма — направления, рассматривающего познание как результат взаимодействия большого числа простых, связанных между собой процессоров (нейронов), работающих параллельно. В 1986 году под редакцией Румельхарта и Макклелланда вышла двухтомная монография «Parallel Distributed Processing: Explorations in the Microstructure of Cognition» (PDP), ставшая программным документом коннекционизма. В этой работе были предложены модели, объясняющие распознавание образов, обучение, память и языковые способности на основе нейросетевых архитектур.

Алгоритм обратного распространения ошибки

Наиболее известным вкладом Румельхарта является популяризация и теоретическое обоснование алгоритма обратного распространения ошибки (backpropagation). Хотя математические основы метода были разработаны ранее (в частности, в 1970 году финским математиком Сеппо Линнаинмаа), именно Румельхарт, Хинтон и Уильямс в 1986 году опубликовали статью «Learning representations by back-propagating errors», которая сделала алгоритм широко известным и показала его эффективность для обучения многослойных нейронных сетей. Этот алгоритм стал основой для большинства современных нейросетевых архитектур, включая глубокие сети.

Модели семантической памяти и обработки языка

Румельхарт разработал ряд моделей, объясняющих, как люди хранят и обрабатывают семантическую информацию. В частности, он предложил модель «распределённой репрезентации», в которой концепты кодируются не отдельными нейронами, а паттернами активности по всей сети. Это позволило объяснить такие феномены, как обобщение, категоризация и контекстная зависимость значений. Его работы по моделированию чтения и распознавания слов (например, модель взаимодействия активации) оказали влияние на психолингвистику.

Критика символьного подхода

Румельхарт был последовательным критиком классического символьного подхода в искусственном интеллекте, доминировавшего в 1960–1970-е годы. Он утверждал, что многие когнитивные процессы (в частности, распознавание образов, интуиция, обучение на примерах) плохо описываются формальными правилами и символами, но естественно моделируются с помощью нейронных сетей. Эта позиция вызвала дискуссии с представителями «классического» ИИ, в частности с Джерри Фодором и Зеноном Пылышиным.

Основные работы

Книги

• Rumelhart, D. E., & McClelland, J. L. (Eds.). (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Vol. 1: Foundations. MIT Press.
• McClelland, J. L., & Rumelhart, D. E. (Eds.). (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Vol. 2: Psychological and Biological Models. MIT Press.
• Rumelhart, D. E., & Ortony, A. (1977). The Representation of Knowledge in Memory. In: R. C. Anderson, R. J. Spiro, & W. E. Montague (Eds.), Schooling and the Acquisition of Knowledge. Lawrence Erlbaum.

Статьи

• Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.
• Rumelhart, D. E., & McClelland, J. L. (1982). An interactive activation model of context effects in letter perception: Part 2. The contextual enhancement effect and some tests and extensions of the model. Psychological Review, 89(1), 60–94.
• Rumelhart, D. E. (1980). Schemata: The building blocks of cognition. In: R. J. Spiro, B. C. Bruce, & W. F. Brewer (Eds.), Theoretical Issues in Reading Comprehension. Lawrence Erlbaum.

Награды и признание

• Член Национальной академии наук США (1991).
• Лауреат премии Мак-Артура (1987).
• Премия Американской психологической ассоциации за выдающийся вклад в науку (1992).
• Премия Греймайера в области психологии (2001).
• В 2010 году включён в Зал славы AI (AI Hall of Fame).

Критика и наследие

Работы Румельхарта подвергались критике со стороны сторонников символьного подхода, которые указывали на ограничения нейросетевых моделей в объяснении сложных логических рассуждений и синтаксиса. Однако коннекционизм, во многом благодаря его усилиям, стал доминирующей парадигмой в когнитивной науке и машинном обучении. Алгоритм обратного распространения ошибки, популяризированный Румельхартом, лежит в основе современных нейросетей, включая глубокие сети. Его идеи о распределённых репрезентациях и параллельной обработке информации продолжают влиять на исследования в области искусственного интеллекта, нейронаук и когнитивной психологии.