Kas yra CV-leak ir kokie yra jo šaltiniai?

CV nutekėjimas (Kryžminės patikros nutekėjimas) — tai situacija, kai kryžminės patikros metu modelis gauna informaciją iš duomenų testinės dalies, kas lemia modelio kokybės pervertinimą ir blogą bendrąją gebėjimą.

Pagrindiniai CV nutekėjimo šaltiniai:

• Savybių nutekėjimas (Feature leakage): savybės, kurios tiesiogiai arba netiesiogiai turi informaciją apie tikslinę kintamąjį, pavyzdžiui, savybės, sukurtos naudojant būsimus duomenis.

• Laiko tvarkos pažeidimas: dirbant su laiko eilutėmis, būsimų duomenų įtraukimą į mokymo rinkinį.

• Neteisingas duomenų padalijimas: kai skirtinguose folduose pasirodo susiję objektai (pavyzdžiui, duomenys apie tą patį naudotoją ar sesiją), kas sukelia informacijos nutekėjimą.

• Naudojant visos imties apskaičiuotus, tik mokymo daliai skirtus, suvestinius duomenis.

Norint išvengti CV nutekėjimo, būtina kruopščiai suplanuoti duomenų padalijimo schemą, naudoti tinkamas išankstinio apdorojimo metodikas ir užkirsti kelią informacijos patekimui iš testo į mokymą.