Κατηφορική Κατάβαση, SGD και Mini-Batch SGD: ποια είναι τα πλεονεκτήματα και τα μειονεκτήματα του καθενός;

Gradient Descent (GD) — είναι μια μέθοδος βελτιστοποίησης όπου οι κλίσεις υπολογίζονται σε ολόκληρο το δείγμα εκπαίδευσης σε μία μόνο επανάληψη.

• Πλεονεκτήματα: ακριβής κατεύθυνση καθόδου, σταθερή μείωση της λειτουργίας απώλειας.
• Μειονεκτήματα: αργές επαναλήψεις με μεγάλα δεδομένα, υψηλό υπολογιστικό φορτίο.

Stochastic Gradient Descent (SGD) — οι κλίσεις υπολογίζονται σε ένα τυχαίο παράδειγμα ανά επανάληψη.

• Πλεονεκτήματα: γρήγορες επαναλήψεις, λιγότερη μνήμη, μπορεί να βγει από τοπικά ελάχιστα χάρη στον θόρυβο.
• Μειονεκτήματα: υψηλή διασπορά των κλίσεων, λιγότερη σταθερή συμπεριφορά, απαιτεί προσεκτική ρύθμιση του ρυθμού εκμάθησης.

Mini-Batch SGD — συμβιβασμός μεταξύ GD και SGD, οι κλίσεις υπολογίζονται σε μικρά υποσύνολα (παρτίδες).

• Πλεονεκτήματα: ισορροπία μεταξύ ταχύτητας και σταθερότητας, αποτελεσματική χρήση παραλληλισμού, εξομάλυνση του θορύβου.
• Μειονεκτήματα: η επιλογή μεγέθους παρτίδας επηρεάζει την ποιότητα και την ταχύτητα μάθησης, απαιτεί ρύθμιση.

Στην πράξη, το Mini-Batch SGD χρησιμοποιείται συχνότερα, καθώς συνδυάζει τα πλεονεκτήματα και των δύο μεθόδων και κλιμακώνεται καλά.