Qu'est-ce que TD3 et quelles sont les trois améliorations qu'il apporte à DDPG?

TD3 (Twin Delayed Deep Deterministic policy gradient) est une amélioration de l'algorithme DDPG (Deep Deterministic Policy Gradient) pour l'apprentissage par renforcement dans les tâches avec un espace d'actions continu. TD3 apporte trois améliorations clés :

1. Critiques doubles (Twin Critics) : Deux réseaux neuronaux critic sont utilisés pour évaluer la fonction Q. Lors de la mise à jour, la valeur minimale des deux est prise, ce qui réduit la surestimation des valeurs Q.

2. Mises à jour de la politique retardées (Delayed Policy Updates) : La politique est mise à jour moins fréquemment que les critic (par exemple, 2-3 fois moins), ce qui stabilise l'apprentissage.

3. Ajout de bruit aux actions lors de l'apprentissage des critic (Target Policy Smoothing) : Un petit bruit est ajouté aux actions générées par la politique cible, ce qui empêche le surapprentissage excessif sur des valeurs ponctuelles et améliore la généralisation.

Ces améliorations rendent TD3 plus stable et efficace par rapport au DDPG classique.