Что такое TD3 и какие три улучшения он вносит в DDPG?

TD3 (Twin Delayed Deep Deterministic policy gradient) — это улучшение алгоритма DDPG (Deep Deterministic Policy Gradient) для обучения с подкреплением в задачах с непрерывным пространством действий. TD3 вносит три ключевых улучшения:

1. Двойные критики (Twin Critics): Используются две нейронные сети-критика для оценки Q-функции. При обновлении берётся минимальное значение из двух, что снижает переоценку Q-значений.

2. Отложенное обновление политики (Delayed Policy Updates): Политика обновляется реже, чем критики (например, в 2-3 раза реже), что стабилизирует обучение.

3. Добавление шума к действиям при обучении критиков (Target Policy Smoothing): К действиям, генерируемым целевой политикой, добавляется небольшой шум, что предотвращает чрезмерное переобучение на точечные значения и улучшает обобщение.

Эти улучшения делают TD3 более стабильным и эффективным по сравнению с классическим DDPG.