Ошибка предсказания вознаграждения

Ошибка предсказания вознаграждения (англ. reward prediction error, RPE) — это разница между реально полученным вознаграждением (или его отсутствием) и ожидаемым вознаграждением в данный момент времени. Данный сигнал является ключевым понятием в вычислительной нейробиологии, теории обучения с подкреплением и нейроэкономике. Ошибка предсказания вознаграждения служит драйвером обучения: положительная ошибка (неожиданная награда) закрепляет действие, которое к ней привело, а отрицательная (недополучение ожидаемой награды) побуждает изменить поведение.

История открытия и теоретическая основа

Концепция ошибки предсказания вознаграждения была впервые формализована в рамках математической теории обучения с подкреплением в 1970-х годах. Однако нейробиологическое подтверждение существования такого сигнала в мозге связано с исследованиями 1990-х годов, проведёнными Вольфрамом Шульцем (Wolfram Schultz) и его коллегами. В экспериментах на обезьянах они регистрировали активность дофаминовых нейронов в вентральной области покрышки (VTA) и чёрной субстанции (substantia nigra). Исследователи обнаружили, что эти нейроны реагировали не столько на само вознаграждение (например, каплю сока), сколько на несоответствие между ожидаемым и фактическим результатом. Если животное не ожидало сока, нейроны отвечали мощным всплеском активности. Если сок ожидался и был получен — реакции не было. Если ожидаемый сок не поступал — активность нейронов падала ниже фонового уровня. Этот паттерн полностью соответствовал формальному определению ошибки предсказания в модели Рескорлы — Вагнера (Rescorla–Wagner model) и в алгоритме временных разностей (Temporal Difference learning, TD).

Впоследствии нейронные корреляты RPE были обнаружены не только в дофаминовой системе, но и в других структурах мозга, включая прилежащее ядро, орбитофронтальную кору, миндалевидное тело и полосатое тело. Дофаминовые нейроны, однако, остаются наиболее изученным источником этого сигнала: их аксонные проекции широко распределены по переднему мозгу, что позволяет RPE влиять на синаптическую пластичность и, следовательно, на обучение.

Нейробиологический механизм

Дофаминовые нейроны и фазическое выделение дофамина

Основной нейрохимический коррелят ошибки предсказания вознаграждения — фазическое выделение дофамина. В нормальных условиях дофаминовые нейроны поддерживают базовый тонический уровень активности (2–5 Гц). При появлении неожиданного вознаграждения активность резко возрастает (до 20–30 Гц), что приводит к кратковременному (порядка 100–200 мс) выбросу дофамина в синаптическую щель — это положительный RPE. Если вознаграждение ожидалось, но не наступило, активность нейронов падает до нуля (отрицательный RPE). При наступлении предсказанного вознаграждения активность остаётся на базовом уровне (нулевой RPE).

Важно, что RPE может кодироваться не только в отношении немедленного вознаграждения, но и в отношении предвосхищающих стимулов. Если ранее нейтральный стимул (например, световой сигнал) регулярно предшествует вознаграждению, со временем реакция дофаминовых нейронов переносится с вознаграждения на этот стимул. В этот момент вознаграждение, полученное после стимула, больше не вызывает всплеска активности — нейрон «предсказал» его. Если же вознаграждение не следует за стимулом, возникает отрицательный RPE при ожидаемом времени его появления. Таким образом, ошибки предсказания могут распространяться во времени.

Роль в синаптической пластичности

Дофамин, выделяющийся в ответ на положительный RPE, модулирует долговременную потенциацию (LTP) и долговременную депрессию (LTD) синапсов. В полосатом теле и коре дофамин усиливает синаптические связи, которые были активны непосредственно до момента получения вознаграждения. Это реализует правило «трёхфакторного обучения»: синаптическая пластичность зависит от пресинаптической активности, постсинаптической деполяризации и присутствия дофамина. Отрицательный RPE, напротив, ведёт к ослаблению активных синапсов. Такой механизм позволяет системе обучения закреплять успешные (в смысле получения вознаграждения) комбинации действий и восприятия.

Роль в обучении и принятии решений

Обучение с подкреплением (reinforcement learning)

В машинном обучении алгоритмы, использующие ошибку предсказания вознаграждения, относятся к методам обучения с подкреплением. Один из наиболее известных — алгоритм TD (Temporal Difference), который учится оценивать ожидаемую суммарную награду (ценность) состояний или действий. На каждом шаге алгоритм вычисляет разницу между текущей оценкой и обновлённой (реальным вознаграждением плюс оценка следующего состояния). Эта разница и есть RPE. Алгоритм использует её для корректировки оценок. Именно TD-модели лучше всего описывают поведение животных и человека в задачах на условные рефлексы и инструментальное обучение.

Поведенческие эффекты

Искажение сигнала RPE может приводить к различным когнитивным феноменам. Примером служит эффект «сожаления» (regret), когда человек оценивает результат не сам по себе, а в сравнении с тем, что мог быть лучший исход. Отрицательный RPE, порождённый недополучением ожидаемой награды, вызывает чувство разочарования и корректирует последующие решения. Кроме того, RPE участвует в формировании выученного оптимизма (optimistic bias): люди склонны систематически переоценивать вероятность положительных исходов, что может быть следствием асимметричной обработки положительных и отрицательных RPE в мозге.

Значение в психиатрии и психологии

Нарушения в функционировании системы RPE связывают с рядом психических расстройств. При шизофрении наблюдается нарушение дофаминовой регуляции в мезолимбическом и мезокортикальном путях. Гипотеза «аберрантной значимости» предполагает, что пациенты с шизофренией испытывают ложные сигналы RPE: нейтральные стимулы могут приобретать чрезмерную мотивационную значимость (положительный RPE без объективного вознаграждения), что ведёт к бреду. При депрессии часто фиксируется гипоактивность дофаминовых нейронов и сниженная чувствительность к наградам (ангедония), что выражается в ослабленном или отсутствующем положительном RPE. При этом отрицательный RPE может быть усилен, что способствует закреплению избегательного поведения.

При наркотической зависимости наркотики (особенно психостимуляторы, опиоиды) вызывают значительно больший выброс дофамина, чем естественные вознаграждения, и делают это многократно, игнорируя естественные механизмы насыщения. Это приводит к хронически завышенному положительному RPE, что способствует быстрому и аномально сильному закреплению поведения по поиску и употреблению вещества. Со временем система привыкает к такому уровню стимуляции, и для достижения того же RPE требуется увеличение дозы.

Ограничения и критика модели

Модель с единственным дофаминовым сигналом RPE не объясняет всей сложности принятия решений. Например, она не учитывает отдельный учёт неопределённости (precision). Исследования показывают, что дофаминовые нейроны могут кодировать не только RPE, но и привлекательность стимула или ожидаемую ценность, особенно в условиях высокой неопределённости. Кроме того, в реальном мозге существует множество популяций нейронов (серотониновых, норадренергических, ацетилхолиновых), которые передают информацию о различных аспектах ошибок, связанных не только с вознаграждением, но и с наказанием, стоимостью усилия и неожиданностью.

Существуют также альтернативные теории, такие как «гипотеза особенностей» (salience hypothesis), утверждающая, что дофамин кодирует не столько ошибку предсказания, сколько общую значимость (salience) — как для позитивных, так и для негативных стимулов. Однако значительная часть экспериментальных данных по-прежнему поддерживает интерпретацию RPE для кратковременных (фазических) выбросов дофамина, в то время как тонический дофамин может кодировать усреднённую оценку «хорошости» ситуации.

Прикладные аспекты

Концепция RPE широко применяется в робототехнике и искусственном интеллекте для создания алгоритмов обучения, способных адаптироваться к меняющейся среде. Например, TD-методы лежат в основе многих систем обучения с подкреплением, включая глубокое обучение с подкреплением (DQN, AlphaGo, мультиагентные системы). В когнитивной науке модель RPE используется для разработки интерфейсов «мозг-компьютер» и персонализированных систем обучения, а в маркетинге — на основе нейроэкономических парадигм исследуются реакции потребителей на неожиданные скидки или бонусы с точки зрения RPE.

Источники

• Schultz, W. (2016). Dopamine reward prediction error coding. Dialogues in Clinical Neuroscience, 18(1), 23–32.
• Montague, P. R., Hyman, S. E., & Cohen, J. D. (2004). Computational roles for dopamine in behavioural control. Nature, 431(7010), 760–767.
• Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
• Rescorla, R. A., & Wagner, A. R. (1972). A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement. In Classical Conditioning II: Current Research and Theory (pp. 64–99).
• Berridge, K. C., & Robinson, T. E. (1998). What is the role of dopamine in reward: hedonic impact, reward learning, or incentive salience? Brain Research Reviews, 28(3), 309–369.
• Redish, A. D. (2004). Addiction as a computational process gone awry. Science, 306(5703), 1944–1947.