Jak se vypořádat s datalakes při použití target encoding?

Únik dat (data leakage) při použití target encoding nastává, když se informace z cílové proměnné dostanou do znaků, což vede k přeučení modelu.

Pro boj s únikem dat při target encoding se používají následující metody:

• Křížová validace při kódování: vypočítat target encoding pro každý fold s použitím pouze dat z ostatních foldů, vyloučením aktuálního.
• Zjemnění (smoothing): kombinovat průměr cílové proměnné podle kategorie s globálním průměrem, aby se snížil vliv vzácných kategorií.
• Přidání šumu: přidat náhodný šum ke kódovaným hodnotám, aby se snížilo přeučení.
• Použití samostatného tréninkového souboru: vypočítat encoding pouze na tréninkových datech a poté jej aplikovat na testovací data.

Příklad zjemnění:

# Pseudokód
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

Tímto způsobem se target encoding stává odolnější a snižuje se riziko úniku dat.