Με βάση ποια δείκτες μπορούμε να καταλάβουμε ότι το μοντέλο έχει υποβαθμιστεί;

Η υποβάθμιση του μοντέλου μπορεί να προσδιοριστεί από την αλλαγή στα βασικά δείκτες ποιότητας σε νέα δεδομένα σε σύγκριση με το σύνολο εκπαίδευσης ή επικύρωσης. Οι κύριοι δείκτες:

• Μείωση της ακρίβειας (accuracy), F1-score, AUC-ROC — αν αυτοί οι δείκτες μειωθούν, το μοντέλο προβλέπει χειρότερα.
• Αύξηση του σφάλματος (π.χ., MSE, MAE για παλινδρόμηση) — η αύξηση του σφάλματος δείχνει απώλεια ποιότητας.
• Αλλαγή στην κατανομή των εισερχόμενων δεδομένων (data drift) — αν τα δεδομένα στα οποία λειτουργεί το μοντέλο διαφέρουν σημαντικά από τα εκπαιδευτικά, αυτό μπορεί να οδηγήσει σε υποβάθμιση.
• Αλλαγή στην κατανομή της μεταβλητής στόχου (concept drift) — όταν αλλάζει η σχέση μεταξύ χαρακτηριστικών και μεταβλητής στόχου.

Για την παρακολούθηση, χρησιμοποιείται η τακτική σύγκριση των μετρικών σε νέα δεδομένα και η ανάλυση των στατιστικών των χαρακτηριστικών εισόδου. Όταν ανιχνεύεται υποβάθμιση, απαιτείται επανεκπαίδευση ή προσαρμογή του μοντέλου.