Czy zdarzyło się Panu/Pani napotkać wyciek danych podczas szkolenia modelu?

Tak, wyciek danych (data leakage) podczas treningu modelu jest powszechnym problemem, gdy do danych treningowych trafiają informacje, które nie są dostępne w rzeczywistych warunkach zastosowania modelu. Prowadzi to do nadmiernego dopasowania i zawyżonej oceny jakości.

Przykład: przy prognozowaniu ryzyka kredytowego, w zbiorze treningowym może się znaleźć cecha bezpośrednio związana z decyzją o przyznaniu kredytu (np. status zatwierdzenia), która w rzeczywistości nie jest znana w momencie prognozy.

Aby uniknąć wycieku danych, ważne jest:

• Wyraźne oddzielenie danych treningowych i testowych według czasu lub innych kryteriów.
• Wykluczenie cech zawierających informacje o zmiennej docelowej lub przyszłych zdarzeniach.
• Przeprowadzenie dokładnej analizy cech i logiki biznesowej.

W praktyce spotkałem się z wyciekami podczas pracy z szeregami czasowymi, gdy dane z przyszłości przypadkowo trafiały do zbioru treningowego, co prowadziło do nierealistycznie wysokich metryk.