Haben Sie während des Trainings des Modells schon einmal einen Datenleck bemerkt?

Ja, Data Leakage (Datenleckage) beim Training eines Modells ist ein häufiges Problem, bei dem Informationen, die in realen Anwendungsszenarien nicht zugänglich sind, in die Trainingsdaten gelangen. Dies führt zu Overfitting und einer überhöhten Bewertung der Modellqualität.

Beispiel: Bei der Vorhersage des Kreditrisikos kann eine Eigenschaft im Trainingssatz direkt mit der Entscheidung über die Kreditvergabe verbunden sein (z.B. Genehmigungsstatus), der in der Realität zum Zeitpunkt der Vorhersage nicht bekannt ist.

Um Data Leakage zu vermeiden, ist es wichtig:

• Die Trainings- und Testdaten nach Zeit oder anderen Kriterien klar zu trennen.
• Eigenschaften auszuschließen, die Informationen über die Zielvariable oder zukünftige Ereignisse enthalten.
• Eine gründliche Analyse der Merkmale und der Geschäftslogik durchzuführen.

In der Praxis bin ich auf Leakage gestoßen, wenn bei der Arbeit mit Zeitreihen Daten aus der Zukunft versehentlich in den Trainingssatz gelangten, was zu unrealistisch hohen Metriken führte.