Wie erkennt man den Moment der Änderung in der Datenverteilung (Daten-Drift)?

Datenverschiebung ist eine Veränderung der Verteilung der Eingabedaten oder der Zielvariablen im Laufe der Zeit, was die Modellqualität verschlechtern kann. Um den Zeitpunkt der Veränderung der Verteilung zu erkennen, werden folgende Ansätze angewendet:

• Überwachung der Datenstatistiken: Regelmäßig Statistiken (Mittelwert, Varianz, Histogramme) der aktuellen Daten berechnen und mit den historischen vergleichen.
• Distanzmetriken zwischen Verteilungen: Verwendung von Maßen wie der Kullback-Leibler-Divergenz, Jensen-Shannon-Divergenz, Kolmogorov-Smirnov-Test, um Veränderungen quantitativ zu bewerten.
• Spezialisierte Algorithmen zur Erkennung von Drift: z.B. ADWIN, DDM, EDDM, die automatisch auf eine Änderung der Verteilung hinweisen.
• Protokollierung und Visualisierung: Daten und Metriken im Zeitverlauf speichern, Grafiken erstellen, um Veränderungen anschaulich zu verfolgen.
• Überwachung der Modellleistung: Ein Rückgang der Qualitätsmetriken (Genauigkeit, F1, etc.) kann auf Drift hinweisen.

Beispiel für die Verwendung des Kolmogorov-Smirnov-Tests in Python zur Überprüfung des Drifts:

from scipy.stats import ks_2samp

# historical_data und current_data sind Arrays von Merkmalswerten
statistic, p_value = ks_2samp(historical_data, current_data)
if p_value < 0.05:
    print("Daten-Drift erkannt")
else:
    print("Kein Drift erkannt")

Daher ist es wichtig, eine regelmäßige Überwachung der Daten und Metriken des Modells einzurichten, um rechtzeitig auf Drift zu reagieren.