Ποιες μετρήσεις παρακολούθησης μοντέλων ML σε παραγωγή έχετε ρυθμίσει;

Για την παρακολούθηση μοντέλων ML σε παραγωγή, συνήθως ρυθμίζονται τα εξής μετρικά:

• Ακρίβεια (Accuracy) — ποσοστό σωστών προβλέψεων.
• Precision και Recall — ιδιαίτερα σημαντικά σε μη ισορροπημένες κλάσεις.
• F1-score — αρμονικός μέσος όρος της precision και του recall.
• ROC-AUC — ποιότητα ταξινόμησης σε διαφορετικά κατώφλια.
• Καθυστέρηση (Latency) — χρόνος απόκρισης του μοντέλου.
• Throughput — αριθμός αιτημάτων ανά μονάδα χρόνου.
• Ανίχνευση μετατόπισης (Drift detection) — παρακολούθηση αλλαγών στην κατανομή των εισερχόμενων δεδομένων ή προβλέψεων.
• Ποσοστό σφαλμάτων (Error rate) — συχνότητα σφαλμάτων.

Η ρύθμιση της παρακολούθησης περιλαμβάνει τη συλλογή αυτών των μετρικών σε πραγματικό χρόνο, ειδοποιήσεις σε περίπτωση αποκλίσεων και οπτικοποίηση για ανάλυση. Για παράδειγμα, μπορούν να χρησιμοποιηθούν Prometheus και Grafana για τη συλλογή και εμφάνιση των μετρικών, καθώς και εργαλεία για ανίχνευση μετατόπισης, όπως το Evidently AI ή δικά σας scripts.