Czym jest CV-leak i jakie są jego źródła?

Wycieki CV (wycieki z walidacji krzyżowej) — to sytuacja, gdy podczas walidacji krzyżowej model uzyskuje informacje z części testowej danych, co prowadzi do zawyżonej oceny jakości modelu i słabej zdolności do generalizacji.

Główne źródła wycieków CV:

• Wycieki cech (Feature leakage): cechy, które bezpośrednio lub pośrednio zawierają informacje o zmiennej docelowej, na przykład cechy utworzone z użyciem danych przyszłych.

• Naruszenie kolejności czasowej: podczas pracy z szeregami czasowymi dane z przyszłości trafiają do zbioru treningowego.

• Nieprawidłowe dzielenie danych: gdy w różnych foldach pojawiają się powiązane obiekty (np. dane tego samego użytkownika lub sesji), co prowadzi do wycieku informacji.

• Użycie danych zagregowanych obliczonych na całej próbce, a nie tylko na części treningowej.

Aby uniknąć wycieków CV, konieczne jest staranne planowanie schematu dzielenia danych, stosowanie odpowiednich metod wstępnego przetwarzania i zapobieganie przenikaniu informacji z testu do treningu.