Τι είναι η υπερεκπαίδευση; Ποιοι είναι οι τρόποι αντιμετώπισής της;

Το overfitting (υπερπροσαρμογή) είναι μια κατάσταση όπου ένα μοντέλο μηχανικής μάθησης προσαρμόζεται πολύ καλά στα δεδομένα εκπαίδευσης, συμπεριλαμβανομένου του θορύβου και των τυχαίων διακυμάνσεων, και γι' αυτό γενικεύει κακά σε νέα, αόρατα δεδομένα.

Τρόποι αντιμετώπισης του overfitting:

• Κανονικοποίηση (L1, L2) — προσθήκη ποινής για την πολυπλοκότητα του μοντέλου ώστε να αποτραπούν υπερβολικά μεγάλοι βάρη.
• Πρόωρος τερματισμός — διακοπή της εκπαίδευσης όταν η ποιότητα στο σύνολο επικύρωσης αρχίζει να επιδεινώνεται.
• Αύξηση του όγκου δεδομένων — περισσότερα δεδομένα βοηθούν το μοντέλο να γενικεύσει καλύτερα.
• Διασταυρούμενη επικύρωση — βοηθά στην αξιολόγηση της ικανότητας γενίκευσης του μοντέλου και στην επιλογή παραμέτρων.
• Dropout (για νευρωνικά δίκτυα) — τυχαία απενεργοποίηση νευρώνων κατά τη διάρκεια της εκπαίδευσης για την αποτροπή εξάρτησης από συγκεκριμένα χαρακτηριστικά.
• Απλοποίηση του μοντέλου — μείωση του αριθμού των παραμέτρων ή των στρωμάτων.

Παράδειγμα κανονικοποίησης στη γραμμική παλινδρόμηση:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 κανονικοποίηση
model.fit(X_train, y_train)