Τι είναι η διασταυρούμενη επικύρωση και γιατί χρειάζεται;

Η διασταυρούμενη επικύρωση είναι μια μέθοδος αξιολόγησης της ποιότητας ενός μοντέλου μηχανικής μάθησης, που βοηθά να ελεγχθεί πόσο καλά θα λειτουργεί το μοντέλο σε νέα, αόρατα δεδομένα. Η βασική ιδέα είναι να διαιρεθεί το αρχικό σύνολο δεδομένων σε αρκετά μέρη (folds), π.χ., 5 ή 10. Στη συνέχεια, το μοντέλο εκπαιδεύεται σε όλα τα μέρη εκτός από ένα, και δοκιμάζεται στο υπόλοιπο. Αυτή η διαδικασία επαναλαμβάνεται μέχρι κάθε μέρος να έχει χρησιμοποιηθεί ως δοκιμαστικό.

Αυτό επιτρέπει την πιο αξιόπιστη αξιολόγηση της απόδοσης του μοντέλου, τη μείωση της υπερεκπαίδευσης και την επιλογή των καλύτερων παραμέτρων. Για παράδειγμα, στην 5-πλή διασταυρούμενη επικύρωση, τα δεδομένα διαιρούνται σε 5 μέρη, και το μοντέλο εκπαιδεύεται 5 φορές, κάθε φορά σε 4 μέρη, δοκιμάζοντας σε 1.

Παράδειγμα σε Python με sklearn:

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris

X, y = load_iris(return_X_y=True)
model = RandomForestClassifier()
scores = cross_val_score(model, X, y, cv=5)
print(f"Μέση ακρίβεια: {scores.mean():.2f}")