Τι είναι η ισορροπία μεταξύ προκατάληψης και διακύμανσης;

Η αντιπαράθεση μεταξύ προκατάληψης και διακύμανσης είναι μια θεμελιώδης έννοια στη μηχανική μάθηση, που περιγράφει τη συμβιβασμό μεταξύ δύο τύπων σφαλμάτων κατά την εκπαίδευση ενός μοντέλου:

• Προκατάληψη (bias) — σφάλμα που προκύπτει από ένα πολύ απλό μοντέλο που δεν μπορεί να περιγράψει καλά τα δεδομένα (υποεκπαίδευση).
• Διακύμανση — σφάλμα που σχετίζεται με το γεγονός ότι το μοντέλο είναι πολύ ευαίσθητο στο θόρυβο στα δεδομένα εκπαίδευσης και γενικεύει κακά σε νέα δεδομένα (υπερπροσαρμογή).

Αν το μοντέλο είναι πολύ απλό, θα έχει υψηλή προκατάληψη και χαμηλή διακύμανση. Αν είναι πολύ περίπλοκο, θα έχει χαμηλή προκατάληψη αλλά υψηλή διακύμανση.

Ο στόχος είναι να βρεθεί μια ισορροπία όπου το μοντέλο είναι αρκετά περίπλοκο ώστε να συλλαμβάνει τα μοτίβα, αλλά όχι τόσο ώστε να προσαρμόζεται στο θόρυβο.

Παράδειγμα: κατά την εκπαίδευση μιας γραμμικής παλινδρόμησης με πολυώνυμα χαμηλού βαθμού, η προκατάληψη θα είναι υψηλή και η διακύμανση χαμηλή; με πολυώνυμα υψηλού βαθμού — το αντίθετο.