Wat is TD3 en welke drie verbeteringen brengt het aan in DDPG?

TD3 (Twin Delayed Deep Deterministic policy gradient) is een verbetering van het algoritme DDPG (Deep Deterministic Policy Gradient) voor reinforcement learning in taken met een continue actie-ruimte. TD3 brengt drie belangrijke verbeteringen:

1. Dubbele critici (Twin Critics): Er worden twee neurale netwerken gebruikt om de Q-functie te evalueren. Bij het bijwerken wordt de minimale waarde van de twee genomen, wat de overschatting van Q-waarden vermindert.

2. Vertraagde beleidsupdates (Delayed Policy Updates): Het beleid wordt minder vaak bijgewerkt dan de critici (bijvoorbeeld 2-3 keer minder), wat de training stabiliseert.

3. Toevoeging van ruis aan acties tijdens het trainen van critici (Target Policy Smoothing): Er wordt een kleine ruis toegevoegd aan de door het doelbeleid gegenereerde acties, wat overfitting voorkomt en de generalisatie verbetert.

Deze verbeteringen maken TD3 stabieler en efficiënter in vergelijking met de klassieke DDPG.