Előfordult már, hogy adat szivárgott a modell tanítása során?

Igen, az adatszivárgás (data leakage) a modell tanítása során gyakori probléma, amikor olyan információk kerülnek a tanító adatokba, amelyek nem állnak rendelkezésre a modell valódi alkalmazási körülményeiben. Ez túlillesztéshez és a minőség túlértékeléséhez vezet.

Példa: hitelkockázat előrejelzésekor a tanulási mintában lehet egy olyan jellemző, amely közvetlenül kapcsolódik a hitelbírálati döntéshez (pl. jóváhagyási státusz), amely a valós életben nem ismert a predikció pillanatában.

Az adatszivárgás elkerülése érdekében fontos:

• Világosan elkülöníteni a tanító és teszt adatokat idő vagy más kritérium szerint.
• Kizárni azokat a jellemzőket, amelyek információt tartalmaznak a célt változóról vagy jövőbeli eseményekről.
• Alapos elemzést végezni a jellemzőkről és az üzleti logikáról.

Gyakorlatban adatszivárgással találkoztam, amikor idősort dolgoztam fel, és a jövőbeli adatok véletlenül bekerültek a tanító készletbe, ami irreálisan magas metrikákat eredményezett.