Welche Überwachungsmetriken für ML-Modelle in der Produktion haben Sie eingerichtet?

Zur Überwachung von ML-Modellen in der Produktion werden in der Regel folgende Metriken eingerichtet:

• Genauigkeit (Accuracy) — Anteil korrekter Vorhersagen.
• Präzision und Recall — besonders wichtig bei unausgeglichenen Klassen.
• F1-Score — harmonisches Mittel aus Präzision und Recall.
• ROC-AUC — Qualität der Klassifikation bei verschiedenen Schwellen.
• Latenz — Antwortzeit des Modells.
• Durchsatz (Throughput) — Anzahl der Anfragen pro Zeiteinheit.
• Drift-Erkennung — Überwachung von Änderungen in der Verteilung der Eingabedaten oder Vorhersagen.
• Fehlerquote — Häufigkeit der Fehler.

Das Einrichten der Überwachung umfasst das Sammeln dieser Metriken in Echtzeit, Benachrichtigungen bei Abweichungen und Visualisierung für die Analyse. Zum Beispiel können Prometheus und Grafana zur Sammlung und Anzeige der Metriken verwendet werden, sowie Tools zur Drift-Erkennung wie Evidently AI oder eigene Skripte.