Welke monitoringmetriek voor ML-modellen in productie hebt u ingesteld?

Voor het monitoren van ML-modellen in productie worden meestal de volgende metrics ingesteld:

• Nauwkeurigheid (Accuracy) — aandeel juiste voorspellingen.
• Precisie en Recall — vooral belangrijk bij ongebalanceerde klassen.
• F1-score — harmonisch gemiddelde van precisie en recall.
• ROC-AUC — kwaliteit van classificatie op verschillende drempels.
• Latency — responstijd van het model.
• Throughput — aantal verzoeken per tijdseenheid.
• Drijfdetectie — het volgen van veranderingen in de verdeling van invoergegevens of voorspellingen.
• Foutpercentage — frequentie van fouten.

Het instellen van monitoring omvat het verzamelen van deze metrics in realtime, waarschuwingen bij afwijkingen en visualisatie voor analyse. Bijvoorbeeld, Prometheus en Grafana kunnen worden gebruikt voor het verzamelen en weergeven van metrics, evenals tools voor driftdetectie zoals Evidently AI of eigen scripts.