Mi az a CV-leak és milyen forrásai vannak?
sobes.tech MI
Válasz az MI-től
CV-szivárgás (Keresztellenőrzési szivárgás) — olyan helyzet, amikor a keresztellenőrzés során a modell információkat kap az adatok tesztrészéből, ami a modell minőségének túlbecsléséhez és rossz általánosítási képességhez vezet.
A CV-szivárgás fő forrásai:
-
Jellemzők szivárgása (Feature leakage): olyan jellemzők, amelyek közvetlenül vagy közvetve tartalmaznak információkat a célt változóról, például jellemzők, amelyeket jövőbeli adatok felhasználásával hoztak létre.
-
Időbeli sorrend megsértése: idősorozatok esetén a jövőbeli adatok bekerülnek a tréningkészletbe.
-
Hibás adatmegosztás: amikor különböző foldokban kapcsolódó objektumok jelennek meg (pl. ugyanazon felhasználó vagy munkamenet adatai), ami információszivárgáshoz vezet.
-
Az egész mintán számított, csak a tréning részre vonatkozó, összegzett adatok használata.
A CV-szivárgás elkerülése érdekében gondosan meg kell tervezni az adatok felosztási sémait, helyes előfeldolgozási módszereket kell alkalmazni, és meg kell akadályozni, hogy az információk a tesztből a tréningbe kerüljenek.