Co je to CV-leak a jaké jsou jeho zdroje?

Únik CV (únik křížové validace) — je situace, kdy během křížové validace model získává informace z testovací části dat, což vede k nadhodnocení kvality modelu a špatné schopnosti generalizace.

Hlavní zdroje úniku CV:

• Únik vlastností (Feature leakage): vlastnosti, které přímo nebo nepřímo obsahují informace o cílové proměnné, například vlastnosti vytvořené s využitím budoucích dat.

• Porušení časového pořadí: při práci s časovými řadami se data z budoucnosti dostávají do tréninkové sady.

• Nesprávné rozdělení dat: když se v různých foldách objeví propojené objekty (například data téhož uživatele nebo relace), což vede k úniku informací.

• Použití agregovaných dat vypočítaných na celé vzorku, nikoli pouze na trénovací části.

Aby se předešlo úniku CV, je nutné pečlivě naplánovat schéma rozdělení dat, používat správné metody předzpracování a zabránit tomu, aby se informace z testu dostaly do tréninku.