Mis on CV-leak ja millised on selle allikad?

CV lekkimine (Kross-valideerimise lekkimine) — see on olukord, kus kross-valideerimise ajal saab mudel teavet andmete testiosast, mis viib mudeli kvaliteedi ülehindamise ja halva üldistamisvõime juurde.

CV lekkimise peamised allikad:

• Omaduste lekkimine (Feature leakage): omadused, mis sisaldavad otseselt või kaudselt teavet sihtmuutujast, näiteks omadused, mis on loodud kasutades tulevasi andmeid.

• Aja järjekorra rikkumine: töötades ajareadadega, pääsevad tulevased andmed treeningkomplekti.

• Andmete vale jagamine: kui erinevates foldides ilmuvad seotud objektid (näiteks sama kasutaja või sessiooni andmed), mis põhjustab teabe lekkimist.

• Kogu näidise põhjal arvutatud, ainult treeningu osale mõeldud, kogutud andmete kasutamine.

CV lekkimise vältimiseks tuleb hoolikalt planeerida andmete jagamise skeem, kasutada õigeid eelprotsessimise meetodeid ja takistada teabe sattumist testist treeningusse.