Hogyan kezeljük a datalake-eket target encoding használata közben?

Az adatszivárgás (data leakage) a célérték kódolásakor fordul elő, amikor a célváltozó információi szivárognak be a jellemzőkbe, ami túlillesztést eredményez a modellben.

Az adatszivárgás elleni küzdelem érdekében a következő módszereket alkalmazzák:

• Keresztvalidáció a kódolás során: minden fold esetében számítsa ki a célérték kódolást, csak a többi fold adatait felhasználva, kivéve a jelenlegit.
• Smoothing (simítás): a kategóriánkénti célérték átlagát kombinálja a globális átlaggal, hogy csökkentse a ritka kategóriák hatását.
• Zaj hozzáadása: véletlenszerű zajt adjon a kódolt értékekhez, hogy csökkentse a túlillesztést.
• Külön tréningkészlet használata: csak a tréningadatokon számolja ki a kódolást, majd alkalmazza a tesztadatokra.

Példa simításra:

# Pseudocode
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

Így a célérték kódolás robusztusabbá válik, és csökken az adatszivárgás kockázata.