Čo je CV-leak a aké sú jeho zdroje?

Únik CV (Únik cez krížovú validáciu) — je situácia, keď počas krížovej validácie model získava informácie z testovacej časti dát, čo vedie k nadhodnoteniu kvality modelu a k horšej schopnosti generalizácie.

Hlavné zdroje úniku CV:

• Únik vlastností (Feature leakage): vlastnosti, ktoré priamo alebo nepriamo obsahujú informácie o cieľovej premennej, napríklad vlastnosti vytvorené s použitím budúcich dát.

• Porušenie časového poradia: pri práci s časovými radmi sa dáta z budúcnosti dostávajú do tréningovej množiny.

• Nesprávne rozdelenie dát: keď sa v rôznych foldoch objavia prepojené objekty (napríklad dáta toho istého používateľa alebo relácie), čo vedie k úniku informácií.

• Použitie agregovaných dát vypočítaných na celej vzorke, nie len na tréningovej časti.

Aby sa predišlo úniku CV, je potrebné starostlivo naplánovať schému rozdelenia dát, používať správne metódy predspracovania a zabrániť tomu, aby sa informácie z testu dostali do tréningu.