Πώς καταλαβαίνετε αν ένα μοντέλο είναι υποεκπαιδευμένο ή υπεκπαιδευμένο;

Για να κατανοήσετε αν ένα μοντέλο είναι υποεκπαιδευμένο ή υπερεκπαιδευμένο, αναλύεται η συμπεριφορά του σφάλματος στα εκπαιδευτικά και επικυρωτικά σύνολα:

• Υποεκπαίδευση (underfitting): το μοντέλο λειτουργεί κακά τόσο στα εκπαιδευτικά όσο και στα δοκιμαστικά σύνολα — το σφάλμα είναι υψηλό παντού. Αυτό σημαίνει ότι το μοντέλο είναι πολύ απλό και δεν μπορεί να συλλάβει τα μοτίβα.

• Υπερεκπαίδευση (overfitting): το μοντέλο δείχνει πολύ χαμηλό σφάλμα στο εκπαιδευτικό σύνολο, αλλά υψηλό στο δοκιμαστικό. Το μοντέλο έχει απομνημονεύσει πολύ καλά τα δεδομένα εκπαίδευσης, συμπεριλαμβανομένου του θορύβου, και δεν γενικεύει καλά.

Για διάγνωση, συχνά κατασκευάζεται ένα γράφημα της εξάρτησης του σφάλματος από τη δυσκολία του μοντέλου ή τον αριθμό των εποχών εκπαίδευσης. Το ιδανικό μοντέλο έχει χαμηλά σφάλματα και στα δύο σύνολα.

Παράδειγμα:

Μοντέλο	Σφάλμα στην εκπαίδευση	Σφάλμα στην δοκιμή	Συμπέρασμα
Απλό	Υψηλό	Υψηλό	Υποεκπαίδευση
Πολύπλοκο	Χαμηλό	Υψηλό	Υπερεκπαίδευση
Βέλτιστο	Χαμηλό	Χαμηλό	Καλό μοντέλο

Για την καταπολέμηση της υπερπροσαρμογής, εφαρμόζονται κανονικοποίηση, συλλογή περισσότερων δεδομένων, απλοποίηση του μοντέλου ή μέθοδοι πρόωρου τερματισμού.