Welche Ansätze gibt es für das Testen von ML-Modellen in CI?

In der CI werden verschiedene Ansätze zur Testung von ML-Modellen angewendet, die auf die Qualitätskontrolle der Daten und die Stabilität des Modells abzielen:

• Unit-Tests für Komponenten der Datenverarbeitung und Modelle — Überprüfung der Korrektheit von Preprocessing-, Trainings- und Vorhersagefunktionen.
• Qualitätstests des Modells auf Kontrolldatensätzen — automatische Ausführung der Bewertung von Metriken (Genauigkeit, F1, AUC usw.) bei jeder Änderung im Code oder den Daten.
• Überwachung von Metriken und Datenverschiebung — Sicherstellung, dass sich die Verteilung der Eingabedaten und Ausgaben des Modells nicht wesentlich verändert.
• Reproduzierbarkeits-Tests des Trainings — Überprüfung, ob das Modell bei gleichen Daten und Parametern identisch trainiert wird.
• Integrationstests — Überprüfung der Interaktion des Modells mit anderen Systemkomponenten.

Die Automatisierung dieser Tests in der CI hilft, Regressionen und Probleme mit der Daten- oder Modellqualität schnell zu erkennen.