Šta je CV-leak i koji su njegovi izvori?

Curenje CV (Curanje kroz validaciju) — to je situacija kada model tokom unakrsne validacije dobija informacije iz test dela podataka, što dovodi do precenjivanja kvaliteta modela i loše sposobnosti generalizacije.

Glavni izvori curenja CV:

• Curanje karakteristika (Feature leakage): karakteristike koje direktno ili indirektno sadrže informacije o ciljnoj promenljivoj, na primer, karakteristike kreirane korišćenjem budućih podataka.

• Prekršaj vremenskog reda: prilikom rada sa vremenskim nizovima, podaci iz budućnosti ulaze u trening skup.

• Neispravno deljenje podataka: kada u različitim fold-ovima postoje povezani objekti (npr. podaci istog korisnika ili sesije), što dovodi do curenja informacija.

• Korišćenje agregiranih podataka izračunatih na celokupnoj uzorku, a ne samo na trening delu.

Da bi se izbeglo curenje CV, potrebno je pažljivo planirati šemu deljenja podataka, koristiti ispravne metode predobrade i sprečiti da informacije iz testa uđu u trening.