Обратное обучение с подкреплением

Обратное обучение с подкреплением (англ. Inverse Reinforcement Learning, IRL) — это область машинного обучения, в которой алгоритм стремится восстановить функцию вознаграждения (целевую функцию) агента на основе наблюдений за его поведением (демонстрациями). В отличие от прямого обучения с подкреплением (Reinforcement Learning, RL), где агент обучается оптимальной стратегии (политике) для максимизации известного вознаграждения, в IRL вознаграждение неизвестно, и его необходимо вывести из демонстраций эксперта. Задача IRL является некорректно поставленной (ill-posed), так как одно и то же поведение может быть объяснено бесконечным множеством функций вознаграждения.

История

Концепция обратного обучения с подкреплением была впервые формально сформулирована в 1998 году Стюартом Расселом (Stuart Russell) и Эндрю Ыном (Andrew Ng) в работе «Algorithms for Inverse Reinforcement Learning». Идея возникла из наблюдения, что во многих практических задачах (например, в робототехнике или моделировании поведения животных) явно задать функцию вознаграждения сложно, но можно продемонстрировать желаемое поведение.

В 2000-х годах были разработаны первые практические алгоритмы, такие как алгоритм максимизации маргинальной вероятности (Maximum Margin IRL) и алгоритм на основе максимизации энтропии (Maximum Entropy IRL), предложенный Брайаном Зибартом (Brian Ziebart) в 2008 году. С 2010-х годов IRL активно применяется в задачах имитационного обучения (imitation learning), автономного вождения, анализа поведения пользователей и биологии.

Формальная постановка задачи

Пусть имеется марковский процесс принятия решений (MDP) без известной функции вознаграждения: MDP\R = (S, A, T, γ), где S — множество состояний, A — множество действий, T(s' | s, a) — вероятность перехода в состояние s' после действия a в состоянии s, γ — коэффициент дисконтирования (0 ≤ γ < 1). Наблюдается набор траекторий (демонстраций) эксперта: D = {τ₁, τ₂, …, τₙ}, где каждая траектория τ = (s₀, a₀, s₁, a₁, …, sₜ) — последовательность состояний и действий.

Задача IRL состоит в нахождении функции вознаграждения R(s, a) (или R(s)) такой, что политика эксперта π* (которая породила демонстрации) является оптимальной (или приближённо оптимальной) для этого вознаграждения. Обычно предполагается, что функция вознаграждения линейна по признакам: R(s) = wᵀ φ(s), где φ(s) — вектор признаков, w — вектор весов.

Ключевые проблемы и подходы

Некорректность задачи

Поскольку любое вознаграждение, при котором экспертная политика оптимальна, является решением, задача IRL имеет бесконечно много решений. Для устранения неоднозначности используются дополнительные критерии:

• Максимизация маржи (Margin): выбор вознаграждения, которое максимизирует разницу между ценностью экспертной политики и любой другой политики.
• Максимизация энтропии (Maximum Entropy): выбор вознаграждения, которое максимизирует энтропию распределения траекторий, согласованного с демонстрациями.
• Байесовский подход: априорное распределение на веса w и апостериорное уточнение по демонстрациям.

Вычислительная сложность

Классические алгоритмы IRL требуют многократного решения прямой задачи RL (нахождения оптимальной политики для текущего вознаграждения), что вычислительно дорого для больших пространств состояний. Для снижения сложности используются:

• Аппроксимация ценности (value function approximation) с помощью нейронных сетей.
• Использование градиентных методов (например, Guided Cost Learning).
• Применение методов обучения с подкреплением на основе моделей (model-based RL).

Алгоритмы

Алгоритм максимизации маржи (Maximum Margin IRL)

Предложен Эндрю Ыном и Стюартом Расселом. Ищет веса w, максимизирующие зазор между ценностью экспертной политики V(π*) и ценностью любой другой политики V(π). Решается как задача квадратичного программирования. Недостаток — чувствительность к выбору базисных политик.

Алгоритм максимизации энтропии (Maximum Entropy IRL)

Разработан Брайаном Зибартом. Моделирует поведение эксперта как вероятностное: вероятность траектории пропорциональна exp(сумма вознаграждений). Параметры w находятся методом максимального правдоподобия. Градиент логарифма правдоподобия вычисляется как разность между ожидаемыми признаками по модели и наблюдаемыми признаками в демонстрациях. Этот алгоритм широко применяется в задачах маршрутизации и моделирования поведения пешеходов.

Глубокое обратное обучение с подкреплением (Deep IRL)

Современные подходы используют глубокие нейронные сети для аппроксимации функции вознаграждения. Примеры:

• Guided Cost Learning (Финн, 2016): итеративно уточняет функцию стоимости (отрицательное вознаграждение) и политику, используя выборку по значимости.
• Adversarial IRL (AIRL): основан на генеративно-состязательных сетях (GAN), где дискриминатор различает экспертные и сгенерированные траектории, а генератор (политика) учится их обманывать. Восстановленная функция вознаграждения извлекается из дискриминатора.

Применение

Робототехника

IRL позволяет роботам обучаться сложным манипуляционным навыкам (например, сборка деталей, укладка предметов) по демонстрациям человека, без ручного программирования функции вознаграждения. Используется в задачах обучения с подкреплением с демонстрациями (RLfD).

Автономное вождение

Применяется для моделирования поведения водителей: восстановление их предпочтений (скорость, безопасность, комфорт) на основе записей траекторий. Позволяет создавать более реалистичные симуляторы и планировщики движения.

Анализ поведения пользователей

В рекомендательных системах и интерфейсах IRL используется для выявления скрытых целей пользователей (например, минимизация времени поиска или максимизация разнообразия контента) по их кликам и навигации.

Биология и нейронауки

Моделирование поведения животных и человека: восстановление функции вознаграждения, которой руководствуется мозг при принятии решений. Используется для изучения дофаминовой системы и механизмов обучения.

Критика и ограничения

• Требовательность к данным: для надёжного восстановления функции вознаграждения требуется большое количество демонстраций, особенно в пространствах высокой размерности.
• Чувствительность к модели среды: если модель переходов T(s'|s,a) неточна, восстановленное вознаграждение может быть некорректным.
• Неединственность решения: без дополнительных предположений (например, о разреженности вознаграждения) IRL может давать тривиальные или неинтерпретируемые результаты.
• Сложность оценки: отсутствие единого стандарта для сравнения алгоритмов, так как истинное вознаграждение в реальных задачах неизвестно.

Связь с другими областями

• Имитационное обучение (Imitation Learning): IRL является одним из методов имитационного обучения, наряду с поведенческим клонированием (behavioral cloning) и обучением подражанием (apprenticeship learning). В отличие от поведенческого клонирования, IRL не требует точного копирования действий, а восстанавливает причину поведения.
• Обучение с подкреплением (RL): IRL часто используется как предварительный этап для RL, когда функция вознаграждения неизвестна, но есть демонстрации эксперта.
• Обратное обучение с подкреплением на основе предпочтений (Preference-based IRL): вариант, где вместо траекторий используются парные сравнения (какая траектория лучше), что снижает требования к точности демонстраций.

Источники

• Russell, S. (1998). Learning agents for uncertain environments (extended abstract). In Proceedings of the eleventh annual conference on Computational learning theory.
• Ng, A. Y., & Russell, S. J. (2000). Algorithms for inverse reinforcement learning. In Proceedings of the Seventeenth International Conference on Machine Learning.
• Ziebart, B. D., Maas, A. L., Bagnell, J. A., & Dey, A. K. (2008). Maximum entropy inverse reinforcement learning. In Proceedings of the 23rd national conference on Artificial intelligence.
• Finn, C., Levine, S., & Abbeel, P. (2016). Guided cost learning: Deep inverse optimal control via policy optimization. In International conference on machine learning.
• Fu, J., Luo, K., & Levine, S. (2017). Learning robust rewards with adversarial inverse reinforcement learning. arXiv preprint arXiv:1710.11248.