Τι είναι η προκατάληψη και η διακύμανση, και τι μειώνεται στο τυχαίο δάσος;

Στην μηχανική μάθηση:

• Υπέρβαση (Bias) — είναι ένα σφάλμα που προκύπτει λόγω ενός πολύ απλού μοντέλου, το οποίο δεν μπορεί να προσεγγίσει καλά την πραγματική εξάρτηση. Ένα υψηλό bias οδηγεί σε υποεκπαίδευση.
• Μεταβλητότητα — είναι η ευαισθησία του μοντέλου σε αλλαγές στα δεδομένα εκπαίδευσης. Μια υψηλή μεταβλητότητα σημαίνει ότι το μοντέλο προσαρμόζεται υπερβολικά στο θόρυβο στα δεδομένα, οδηγώντας σε υπερεκπαίδευση.

Ένα τυχαίο δάσος είναι ένα σύνολο αποφασιστικών δέντρων που κατασκευάζονται από τυχαία υποσύνολα δεδομένων και χαρακτηριστικών. Μειώνει τη μεταβλητότητα σε σύγκριση με ένα μεμονωμένο δέντρο, καθώς ο μέσος όρος των προβλέψεων μειώνει την επίδραση των τυχαίων διακυμάνσεων στα δεδομένα, ενώ το bias παραμένει περίπου στο επίπεδο των μεμονωμένων δέντρων ή αυξάνεται ελαφρώς.

Παράδειγμα:

from sklearn.ensemble import RandomForestClassifier

# Το τυχαίο δάσος μειώνει τη μεταβλητότητα μέσω του μέσου όρου
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)