Τι είναι το bias και η διακύμανση σε ένα μοντέλο;

Ο προσανατολισμός (bias) και η διασπορά (variance) είναι δύο βασικές έννοιες που περιγράφουν τα σφάλματα ενός μοντέλου μηχανικής μάθησης.

• Bias (προσανατολισμός): είναι ένα σφάλμα που προκύπτει λόγω ενός πολύ απλού μοντέλου που δεν μπορεί να περιγράψει καλά τα δεδομένα. Ένα μοντέλο με υψηλό bias είναι υποεκπαιδευμένο (underfitting) και κάνει κακές προβλέψεις τόσο στα εκπαιδευτικά όσο και στα νέα δεδομένα.

• Variance (διασπορά): είναι ένα σφάλμα που σχετίζεται με την ευαισθησία του μοντέλου στο θόρυβο στα εκπαιδευτικά δεδομένα. Ένα μοντέλο με υψηλή διασπορά υπερεκπαιδεύεται (overfitting), λειτουργεί καλά στα εκπαιδευτικά δεδομένα, αλλά γενικεύει κακά σε νέα δεδομένα.

Ο ισορροπία μεταξύ bias και variance είναι σημαντική για ένα καλό μοντέλο. Γενικά, καθώς αυξάνεται η πολυπλοκότητα του μοντέλου, το bias μειώνεται και η διασπορά αυξάνεται.

Παράδειγμα:

• Μια απλή γραμμική παλινδρόμηση μπορεί να έχει υψηλό bias αν τα δεδομένα είναι μη γραμμικά.
• Ένα πολύπλοκο μοντέλο, όπως ένα βαθύ νευρωνικό δίκτυο, μπορεί να έχει χαμηλό bias, αλλά υψηλή διασπορά αν υπερεκπαιδεύεται στα εκπαιδευτικά δεδομένα.