Was ist CV-leak und welche Quellen gibt es?

CV-Leckage (Cross-Validation-Leckage) ist eine Situation, in der das Modell während der Kreuzvalidierung Informationen aus dem Testteil der Daten erhält, was zu einer überhöhten Einschätzung der Modellqualität und einer schlechten Generalisierungsfähigkeit führt.

Hauptquellen für CV-Leckage:

• Feature-Leckage: Merkmale, die direkt oder indirekt Informationen über die Zielvariable enthalten, z.B. Merkmale, die unter Verwendung zukünftiger Daten erstellt wurden.

• Verletzung der zeitlichen Reihenfolge: Bei der Arbeit mit Zeitreihendaten gelangen Daten aus der Zukunft in die Trainingsmenge.

• Falsche Datenaufteilung: Wenn in verschiedenen Falten verbundene Objekte erscheinen (z.B. Daten desselben Nutzers oder derselben Sitzung), was zu einem Informationsleck führt.

• Verwendung von aggregierten Daten, die auf die gesamte Stichprobe berechnet wurden, und nicht nur auf den Trainingsdatensatz.

Um CV-Leckage zu vermeiden, muss man die Datenaufteilung sorgfältig planen, geeignete Vorverarbeitungsmethoden verwenden und verhindern, dass Informationen aus dem Test in das Training gelangen.