Da li ste ikada imali curenje podataka tokom obuke modela?

Да, curenje podataka (data leakage) tokom obuke modela je čest problem, kada se u trening skup uključe informacije koje nisu dostupne u realnim uslovima primene modela. To dovodi do prekomernog učenja i precenjivanja kvaliteta.

Primer: prilikom predviđanja kreditnog rizika, u trening skupu može postojati atribut koji je direktno povezan sa odlukom o odobravanju kredita (npr. status odobrenja), koji u stvarnom životu nije poznat u trenutku predviđanja.

Da biste izbegli curenje podataka, važno je:

• Jasno odvojiti trening i test podatke po vremenu ili drugim kriterijumima.
• Isključiti atribute koji sadrže informacije o cilјnoj promenljivoj ili budućim događajima.
• Sprovoditi detaljnu analizu atributa i poslovne logike.

U praksi sam se susretao sa curenjem podataka kada su podaci iz budućnosti slučajno dospeli u trening skup, što je dovodilo do nerealno visokih metrika.