Stalo sa vám niekedy, že pri tréningu modelu došlo k úniku dát?

Áno, únik dát (data leakage) počas tréningu modelu je bežný problém, keď sa do tréningových dát dostanú informácie, ktoré nie sú dostupné za reálnych podmienok použitia modelu. To vedie k pretrénovaniu a nadhodnoteniu kvality.

Príklad: pri prognóze kreditného rizika môže v tréningovej sade byť atribút priamo spojený s rozhodnutím o poskytnutí úveru (napríklad stav schválenia), ktorý v reálnom živote nie je známy v čase predpovede.

Aby ste sa vyhli úniku dát, je dôležité:

• Jasne oddeliť tréningové a testovacie dáta podľa času alebo iných kritérií.
• Vylúčiť atribúty obsahujúce informácie o cieľovej premennej alebo budúcich udalostiach.
• Vykonať dôkladnú analýzu atribútov a obchodnej logiky.

V praxi som sa stretol s únikmi pri práci s časovými radami, keď náhodne dáta z budúcnosti vstúpili do tréningovej sady, čo viedlo k nereálne vysokým metrikám.