TD3

TD3 (Twin Delayed Deep Deterministic Policy Gradient) — это алгоритм обучения с подкреплением (Reinforcement Learning, RL), относящийся к классу методов Actor-Critic, предназначенный для решения задач с непрерывным пространством действий. Разработан как улучшение алгоритма DDPG (Deep Deterministic Policy Gradient) для повышения стабильности обучения и снижения склонности к переоценке значений Q-функции. TD3 был предложен в 2018 году группой исследователей из Университета Торонто и компании Google Brain (принадлежит Alphabet Inc., Google LLC — организация признана иноагентом в РФ) в статье «Addressing Function Approximation Error in Actor-Critic Methods».

История и предпосылки создания

Алгоритм TD3 появился как ответ на фундаментальную проблему методов Actor-Critic, основанных на Q-обучении, — склонность к переоценке значений Q-функции. В классическом DDPG, использующем детерминированную политику, ошибка аппроксимации Q-функции может накапливаться, приводя к нестабильности обучения и сходимости к субоптимальным решениям. Эта проблема особенно остро проявляется в задачах с непрерывными пространствами действий, где точная оценка Q-функции критически важна для выбора оптимальных действий.

Исследователи, вдохновлённые успехом алгоритма Double DQN (Double Deep Q-Network) для дискретных пространств действий, предложили адаптировать идею двойного Q-обучения для непрерывного случая. В 2018 году Скотт Фудзимото, Херке ван Хофф и Дэвид Мегер (Scott Fujimoto, Herke van Hoof, David Meger) опубликовали статью, в которой представили три ключевых модификации DDPG: использование двух независимых Q-сетей (Twin Critics), задержку обновления политики (Delayed Policy Updates) и добавление шума к целевым действиям (Target Policy Smoothing). Эти изменения легли в основу алгоритма TD3.

Устройство и ключевые компоненты

TD3 базируется на архитектуре Actor-Critic, где Actor (актёр) представляет политику, а Critic (критик) оценивает функцию ценности. В отличие от DDPG, TD3 использует две независимые Q-сети (Critic 1 и Critic 2) и одну сеть политики (Actor). Алгоритм включает три основных механизма:

Двойные Q-сети (Twin Critics)

В TD3 одновременно обучаются две Q-функции. При вычислении целевого значения для обновления Q-сетей используется минимальное значение из двух оценок: \[ y = r + \gamma \min_{i=1,2} Q_{\theta_i'}(s', a') \] где \( r \) — полученная награда, \( \gamma \) — коэффициент дисконтирования, \( Q_{\theta_i'} \) — целевые Q-сети, \( s' \) — следующее состояние, \( a' \) — действие, выбранное целевой политикой. Использование минимума двух оценок снижает склонность к переоценке, так как ошибка аппроксимации обычно приводит к завышению, а не занижению значений.

Задержка обновления политики (Delayed Policy Updates)

Политика (Actor) обновляется реже, чем Q-сети. В типичной реализации TD3 политика обновляется каждые \( d \) шагов (обычно \( d = 2 \)), в то время как Q-сети обновляются на каждом шаге. Это позволяет Q-сетям стабилизироваться перед тем, как политика начнёт адаптироваться к их оценкам, что снижает риск расхождения.

Сглаживание целевых действий (Target Policy Smoothing)

Чтобы предотвратить переобучение политики к узким пикам Q-функции, в TD3 добавляется шум к целевым действиям при вычислении целевого значения: \[ a' = \pi_{\phi'}(s') + \epsilon, \quad \epsilon \sim \text{clip}(\mathcal{N}(0, \sigma), -c, c) \] где \( \pi_{\phi'} \) — целевая политика, \( \epsilon \) — нормально распределённый шум, ограниченный по амплитуде. Это делает алгоритм более устойчивым к малым изменениям в Q-функции и улучшает обобщение.

Алгоритм обучения

Процесс обучения TD3 включает следующие этапы:

1. Инициализация: создаются две Q-сети \( Q_{\theta_1}, Q_{\theta_2} \) и сеть политики \( \pi_{\phi} \). Их целевые копии \( Q_{\theta_1'}, Q_{\theta_2'}, \pi_{\phi'} \) инициализируются с теми же весами.
2. Сбор данных: агент взаимодействует со средой, используя текущую политику с добавлением исследовательского шума (обычно гауссовского или Ornstein-Uhlenbeck).
3. Обновление Q-сетей: на каждом шаге из буфера воспроизведения (replay buffer) выбирается мини-батч переходов \( (s, a, r, s') \). Для каждого перехода вычисляется целевое значение \( y \) с использованием минимальной оценки двух целевых Q-сетей и сглаженного действия. Q-сети обновляются путём минимизации среднеквадратичной ошибки между их предсказаниями и \( y \).
4. Обновление политики: каждые \( d \) шагов политика обновляется путём градиентного подъёма по направлению, максимизирующему ожидаемое значение первой Q-сети: \( \nabla_{\phi} J \approx \mathbb{E}[\nabla_{\phi} \pi_{\phi}(s) \nabla_{a} Q_{\theta_1}(s, a)|_{a=\pi_{\phi}(s)}] \).
5. Обновление целевых сетей: веса целевых сетей мягко обновляются с коэффициентом \( \tau \): \( \theta_i' \leftarrow \tau \theta_i + (1-\tau) \theta_i' \), \( \phi' \leftarrow \tau \phi + (1-\tau) \phi' \).

Преимущества и недостатки

Преимущества

• Стабильность обучения: двойные Q-сети и задержка обновления политики значительно снижают нестабильность, характерную для DDPG.
• Устойчивость к переоценке: использование минимальной оценки двух Q-сетей предотвращает накопление ошибок, связанных с завышением значений.
• Эффективность в непрерывных пространствах действий: TD3 хорошо работает в задачах робототехники, управления и симуляций, где действия являются непрерывными величинами.
• Простота реализации: алгоритм не требует сложных архитектурных изменений по сравнению с DDPG.

Недостатки

• Зависимость от гиперпараметров: эффективность TD3 чувствительна к выбору параметров, таких как частота обновления политики \( d \), амплитуда шума \( \sigma \) и коэффициент дисконтирования \( \gamma \).
• Вычислительная сложность: использование двух Q-сетей удваивает вычислительные затраты на каждом шаге обучения.
• Ограниченная применимость: алгоритм предназначен для задач с непрерывными действиями и неэффективен в дискретных пространствах, где лучше работают методы на основе Q-обучения (например, DQN).

Применение

TD3 нашёл широкое применение в областях, где требуется управление непрерывными процессами:

• Робототехника: обучение манипуляторов, управление движением роботов, задачи захвата и перемещения объектов.
• Автономное вождение: управление скоростью, рулевым управлением и торможением в симуляторах.
• Промышленная автоматизация: оптимизация производственных процессов, управление роботизированными линиями.
• Игровые симуляторы: обучение агентов в средах с непрерывными действиями, таких как MuJoCo, PyBullet и OpenAI Gym.

Сравнение с другими алгоритмами

TD3 часто сравнивают с алгоритмом SAC, который также использует двойные Q-сети, но добавляет энтропийную регуляризацию для поощрения исследования. В задачах с высокой размерностью действий SAC обычно показывает более стабильные результаты, однако TD3 проще в настройке и требует меньше вычислительных ресурсов.

Интересные факты

• Название «Twin Delayed» отражает две ключевые модификации: использование двух Q-сетей (Twin) и задержку обновления политики (Delayed).
• В оригинальной статье авторы показали, что TD3 превосходит DDPG и другие современные алгоритмы на наборе задач MuJoCo, включая такие среды, как HalfCheetah, Hopper, Walker2d и Ant.
• Идея двойного Q-обучения в TD3 является обобщением метода Double Q-learning, предложенного в 2010 году Хассаном ван Хассельтом (Hasselt van Hasselt) для дискретных пространств действий.

Источники

• Fujimoto S., van Hoof H., Meger D. Addressing Function Approximation Error in Actor-Critic Methods. — Proceedings of the 35th International Conference on Machine Learning (ICML), 2018.
• Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction. — 2nd edition, MIT Press, 2018.
• Lillicrap T. P. et al. Continuous Control with Deep Reinforcement Learning. — arXiv preprint arXiv:1509.02971, 2015.
• Mnih V. et al. Human-level control through deep reinforcement learning. — Nature, 2015, vol. 518, pp. 529–533.