Τι είναι το TD3 και ποιες τρεις βελτιώσεις φέρνει στο DDPG;

Το TD3 (Twin Delayed Deep Deterministic policy gradient) είναι μια βελτίωση του αλγορίθμου DDPG (Deep Deterministic Policy Gradient) για την ενίσχυση της μάθησης σε εργασίες με συνεχόμενο χώρο δράσεων. Το TD3 εισάγει τρεις βασικές βελτιώσεις:

1. Διπλοί κριτικοί (Twin Critics): Χρησιμοποιούνται δύο νευρωνικά δίκτυα κριτικών για την αξιολόγηση της λειτουργίας Q. Κατά την ενημέρωση, λαμβάνεται η ελάχιστη τιμή από τα δύο, μειώνοντας την υπερεκτίμηση των τιμών Q.

2. Αναβολή ενημερώσεων πολιτικής (Delayed Policy Updates): Η πολιτική ενημερώνεται σπανιότερα από τους κριτικούς (π.χ., 2-3 φορές λιγότερο), γεγονός που σταθεροποιεί τη μάθηση.

3. Προσθήκη θορύβου στις ενέργειες κατά την εκπαίδευση των κριτικών (Target Policy Smoothing): Προστίθεται μικρός θόρυβος στις ενέργειες που παράγονται από την πολιτική στόχο, αποτρέποντας την υπερπροσαρμογή σε συγκεκριμένες τιμές και βελτιώνοντας τη γενίκευση.

Αυτές οι βελτιώσεις καθιστούν το TD3 πιο σταθερό και αποδοτικό σε σύγκριση με το κλασικό DDPG.