Обучение с подкреплением

Обучение с подкреплением — это один из трёх основных парадигм машинного обучения (наряду с обучением с учителем и обучением без учителя), в котором агент обучается взаимодействовать со средой, совершая действия и получая за них вознаграждение или наказание. Цель агента — максимизировать суммарное вознаграждение за серию шагов, выработав оптимальную стратегию (политику) поведения. В отличие от обучения с учителем, где модель обучается на размеченных примерах, в обучении с подкреплением нет правильных ответов — агент обучается методом проб и ошибок.

Основные компоненты

Обучение с подкреплением формализуется с помощью марковского процесса принятия решений (МППР), который описывается набором элементов:

• Агент — обучаемая система, которая принимает решения.
• Среда — внешний мир, в котором действует агент. Среда может быть симулированной (например, игровой уровень) или реальной (например, робот на складе).
• Состояние (s) — описание текущей ситуации, доступное агенту. Может быть полным (наблюдение всей среды) или частичным.
• Действие (a) — выбор агента из множества возможных действий. Например, «повернуть налево», «нажать кнопку», «выбрать рекламу».
• Вознаграждение (r) — скалярный сигнал, который агент получает от среды после каждого действия. Может быть положительным, отрицательным или нулевым.
• Политика (π) — стратегия агента, отображающая состояние на действие. Может быть детерминированной (всегда выбирается одно действие) или стохастической (действия выбираются с вероятностями).
• Функция ценности (V(s) или Q(s,a)) — оценка того, насколько «хорошо» находиться в данном состоянии (V) или выполнить действие в состоянии (Q), с учётом будущих вознаграждений.

История

Идеи обучения с подкреплением восходят к работам по психологии поведения (Б. Ф. Скиннер, 1930-е годы), где животные обучались через положительное и отрицательное подкрепление. В математической форме концепция была формализована в 1950-х годах Ричардом Беллманом, который разработал уравнения для оптимального управления (динамическое программирование).

Ключевые вехи:

• 1950-е — 1960-е: Работы по обучению с подкреплением в контексте теории игр и управления (М. Минский, А. Самуэль).
• 1989: Крис Уоткинс предложил Q-обучение — первый алгоритм, который мог обучаться оптимальной политике без модели среды.
• 1990-е: Разработка алгоритмов SARSA, TD-обучения (временные различия) и актор-критик методов.
• 2013: Команда DeepMind (Д. Сильвер, В. Мних и др.) представила DQN — алгоритм, объединяющий Q-обучение с глубокими нейронными сетями, который научился играть в аркадные игры Atari на уровне профессионалов.
• 2016: AlphaGo (DeepMind) победила чемпиона мира по го Ли Седоля, используя обучение с подкреплением и метод Монте-Карло.
• 2020-е: Распространение обучения с подкреплением в робототехнике, рекомендательных системах, управлении трафиком и обучении больших языковых моделей (RLHF — обучение с подкреплением на основе обратной связи от человека).

Классификация алгоритмов

Алгоритмы обучения с подкреплением делятся на несколько категорий по различным признакам.

По типу политики

• On-policy (обучение на собственной политике): алгоритм оценивает и улучшает ту же политику, по которой действует. Примеры: SARSA, PPO (Proximal Policy Optimization).
• Off-policy (обучение на чужой политике): алгоритм может учиться на данных, собранных любой политикой (в том числе старой или случайной). Примеры: Q-обучение, DQN, SAC (Soft Actor-Critic).

По модели среды

• Model-based (основанные на модели): агент строит модель среды (переходы между состояниями и вознаграждения) и использует её для планирования. Примеры: Dyna-Q, AlphaGo.
• Model-free (без модели): агент не строит модель среды, а учится напрямую по опыту. Примеры: Q-обучение, REINFORCE, PPO.

По типу обучения

• Value-based (на основе функции ценности): агент оценивает Q-функцию и выбирает действие с максимальной ценностью. Примеры: Q-обучение, DQN.
• Policy-based (на основе политики): агент напрямую оптимизирует параметры политики (например, с помощью градиента политики). Примеры: REINFORCE, PPO.
• Actor-Critic (актор-критик): комбинирует оба подхода — актор (политика) выбирает действия, а критик (функция ценности) оценивает их. Примеры: A2C, SAC, DDPG.

Основные алгоритмы

Q-обучение (Q-learning)

Один из самых известных off-policy алгоритмов. Агент обновляет Q-таблицу по правилу: \[ Q(s,a) \leftarrow Q(s,a) + \alpha \left[ r + \gamma \max_{a'} Q(s',a') - Q(s,a) \right] \] где α — скорость обучения, γ — коэффициент дисконтирования. Для больших пространств состояний используется аппроксимация Q-функции нейронной сетью (Deep Q-Network, DQN).

Deep Q-Network (DQN)

Разработан DeepMind в 2013 году. Использует две нейронные сети: основную и целевую, а также буфер воспроизведения опыта (experience replay) для стабилизации обучения. DQN успешно применялся для обучения в играх Atari.

Policy Gradient (REINFORCE)

Простейший алгоритм на основе градиента политики. Агент собирает траекторию, вычисляет суммарное вознаграждение и обновляет параметры политики в направлении, увеличивающем вероятность действий, которые привели к высокому вознаграждению.

Proximal Policy Optimization (PPO)

Разработан OpenAI в 2017 году. Является одним из самых популярных алгоритмов благодаря стабильности и эффективности. PPO ограничивает изменение политики на каждом шаге, чтобы избежать резких падений производительности.

Soft Actor-Critic (SAC)

Off-policy алгоритм, который максимизирует не только вознаграждение, но и энтропию политики (поощряет случайность). Это делает обучение более устойчивым и исследовательским. Широко применяется в робототехнике.

Применение

Обучение с подкреплением находит применение в различных областях, где требуется последовательное принятие решений в условиях неопределённости.

Игры и симуляции

• AlphaGo (DeepMind) — победа над чемпионом мира по го.
• OpenAI Five — обучение команды ботов для игры в Dota 2 на профессиональном уровне.
• AlphaStar (DeepMind) — обучение в стратегии StarCraft II.

Робототехника

• Обучение манипуляторов захвату и перемещению объектов (например, обучение робота складывать кубики).
• Навигация мобильных роботов в неизвестной среде.
• Управление дронами и автономными транспортными средствами.

Рекомендательные системы

• Персонализация контента (YouTube, Netflix) — обучение с подкреплением используется для выбора следующего видео или фильма, чтобы максимизировать время просмотра.
• Рекламные алгоритмы — выбор рекламы для показа пользователю с учётом долгосрочного вознаграждения (клики, покупки).

Управление и оптимизация

• Управление трафиком (регулировка светофоров).
• Оптимизация цепочек поставок и логистики.
• Управление энергопотреблением в дата-центрах (Google DeepMind снизил затраты на охлаждение на 40%).

Обработка естественного языка

• RLHF (обучение с подкреплением на основе обратной связи от человека) — используется для тонкой настройки больших языковых моделей (GPT-4, Claude), чтобы их ответы были более согласованы с человеческими предпочтениями.

Проблемы и ограничения

• Эффективность выборки: многие алгоритмы требуют огромного количества взаимодействий со средой (миллионы шагов), что делает обучение дорогим в реальных условиях.
• Исследование vs эксплуатация: агент должен балансировать между исследованием новых действий (для поиска лучших стратегий) и эксплуатацией уже известных (для получения вознаграждения). Плохой баланс может привести к застреванию в локальном оптимуме.
• Кредитное присваивание: вознаграждение может быть получено через много шагов после действия, что затрудняет определение, какое именно действие было полезным.
• Безопасность: в реальных средах (например, управление автомобилем) ошибки агента могут привести к авариям. Разрабатываются методы безопасного обучения с подкреплением (safe RL).
• Масштабируемость: для задач с большими пространствами состояний и действий требуются мощные вычислительные ресурсы и эффективные методы аппроксимации.

Интересные факты

• В 2021 году алгоритм MuZero (DeepMind) научился играть в шахматы, го и Atari без знания правил — только наблюдая за доской и получая вознаграждение.
• Обучение с подкреплением используется в обучении собак-роботов (Spot от Boston Dynamics) для ходьбы по сложной местности.
• В 2019 году группа исследователей обучила нейросеть управлять термоядерным реактором (токамак) с помощью RL, стабилизируя плазму.

Источники

1. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
2. Silver, D., et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587), 484–489.
3. Mnih, V., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533.
4. Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. arXiv preprint arXiv:1707.06347.
5. Haarnoja, T., et al. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. Proceedings of the 35th International Conference on Machine Learning.
6. Christiano, P., et al. (2017). Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems, 30.