Ar kada nors susidūrėte su duomenų nutekėjimu modelio mokymo metu?

Taip, duomenų nutekėjimas (data leakage) modelio mokymo metu yra dažnas problema, kai į mokymo duomenis patenka informacija, kuri nėra prieinama realiomis modelio taikymo sąlygomis. Tai sukelia per didelį prisitaikymą ir klaidingą kokybės įvertinimą.

Pavyzdys: prognozuojant kredito riziką, mokymo rinkinyje gali būti požymis, tiesiogiai susijęs su sprendimu suteikti kreditą (pvz., patvirtinimo statusas), kuris realiame gyvenime nežinomas prognozės metu.

Siekiant išvengti duomenų nutekėjimo, svarbu:

• Aiškiai atskirti mokymo ir testavimo duomenis pagal laiką ar kitus kriterijus.
• Išskirti požymius, kurie turi informaciją apie tikslinę kintamąjį ar būsimus įvykius.
• Atlikti išsamią požymių ir verslo logikos analizę.

Praktikoje susidūriau su nutekėjimu dirbdamas su laiko eilutėmis, kai atsitiktinai į mokymo rinkinį pateko duomenys iš ateities, kas lėmė nerealiai aukštus rodiklius.