Πείτε μας για τον βελτιστοποιητή Adam: από τι αποτελείται;

Ο βελτιστοποιητής Adam (Εκτίμηση Προσαρμοσμένης Ορμής) συνδυάζει ιδέες από δύο μεθόδους: Momentum και RMSProp. Χρησιμοποιεί ένα εκθετικό κινούμενο μέσο για την εκτίμηση του πρώτου στιγμιότυπου (μέσος όρος του βαθμιδιού) και του δεύτερου στιγμιότυπου (τετράγωνο του βαθμιδιού).

Βασικά στοιχεία του Adam:

• m_t — εκτίμηση του πρώτου στιγμιότυπου (μέσος όρος του βαθμιδιού), ενημερώνεται ως εκθετικό κινούμενο μέσο των βαθμιδιών.
• v_t — εκτίμηση του δεύτερου στιγμιότυπου (μέσο τετραγώνου του βαθμιδιού), επίσης ένα εκθετικό κινούμενο μέσο.
• Διόρθωση μεροληψίας: καθώς το m_t και το v_t αρχικοποιούνται στο μηδέν, εφαρμόζεται διόρθωση για την εξάλειψη της μεροληψίας στα πρώτα βήματα.

Η ενημέρωση των παραμέτρων γίνεται σύμφωνα με τον τύπο:

θ_t = θ_{t-1} - α * (m_t_hat / (sqrt(v_t_hat) + ε))

όπου:

• α — ταχύτητα εκμάθησης,
• m_t_hat και v_t_hat — διορθωμένες εκτιμήσεις των στιγμιότυπων,
• ε — ένα μικρό αριθμό για την αποφυγή διαίρεσης με το μηδέν.

Ο Adam είναι κατάλληλος για εργασίες με μεγάλα όγκους δεδομένων και παραμέτρους, συγκλίνει γρήγορα και προσαρμόζεται σε διαφορετικά χαρακτηριστικά των βαθμιδίων.