Stalo se vám někdy, že došlo k úniku dat při tréninku modelu?

Ano, únik dat (data leakage) při tréninku modelu je běžný problém, kdy se do trénovacích dat dostanou informace, které nejsou dostupné za reálných podmínek použití modelu. To vede k přetrénování a nadhodnocení kvality.

Příklad: při předpovídání kreditního rizika může být v trénovací sadě atribut přímo spojený s rozhodnutím o poskytnutí úvěru (například stav schválení), který v reálném životě není znám v okamžiku předpovědi.

Abychom se vyhnuli úniku dat, je důležité:

• Jasně oddělit trénovací a testovací data podle času nebo jiných kritérií.
• Vyloučit atributy obsahující informace o cílové proměnné nebo budoucích událostech.
• Provést důkladnou analýzu atributů a obchodní logiky.

V praxi jsem se setkal s úniky dat při práci s časovými řadami, kdy náhodně data z budoucnosti pronikla do trénovací sady, což vedlo k nereálně vysokým metrikám.