Kas teil on kunagi olnud andmelõhk modeli koolitamise ajal?

Jah, andmete lekkimine (data leakage) mudeli treenides ajal on tavaline probleem, kui treeningandmetesse satub teave, mis reaalses kasutustingimustes pole kättesaadav. See viib üleõppimise ja kvaliteedi ülehindamiseni.

Näide: krediidiriski prognoosimisel võib treeningu komplektis olla omadus, mis on otseselt seotud krediidi andmise otsusega (näiteks heakskiitmise staatus), mis reaalses elus ei ole prognoosi tegemise ajal teada.

Andmete lekkimise vältimiseks on oluline:

• Selgelt eristada treening- ja testandmed aja või muude kriteeriumide järgi.
• Välistada omadused, mis sisaldavad teavet sihtmuutuja või tulevaste sündmuste kohta.
• Teha põhjalik analüüs omaduste ja äriloogika kohta.

Praktikas olen kokku puutunud lekkega, kui ajaliste seeriate töötamisel sattusid tuleviku andmed juhuslikult treeningkomplekti, mis viis ebareaalselt kõrgete metrikateni.