Ce este CV-leak și care sunt sursele sale?

Scurgerea CV (scurgere de validare încrucișată) — este o situație în care, în timpul validării încrucișate, modelul primește informații din partea de test a datelor, ceea ce duce la o evaluare supraestimată a calității modelului și la o capacitate slabă de generalizare.

Sursele principale ale scurgerii CV:

• Scurgerea de caracteristici (Feature leakage): caracteristici care conțin direct sau indirect informații despre variabila țintă, de exemplu, caracteristici create folosind date viitoare.

• Încălcarea ordinii temporale: atunci când se lucrează cu serii temporale, datele din viitor sunt incluse în eșantionul de antrenament.

• Divizarea incorectă a datelor: atunci când în diferite fold-uri apar obiecte legate (de exemplu, date ale aceluiași utilizator sau sesiune), ceea ce duce la scurgerea de informații.

• Utilizarea datelor agregate calculate pe întreaga eșantion, și nu doar pe partea de antrenament.

Pentru a evita scurgerea CV, trebuie planificat cu atenție schema de divizare a datelor, utilizate metode corecte de preprocesare și prevenit ca informațiile din test să pătrundă în antrenament.