Ako sa vysporiadať s datalakes pri použití target encoding?

Únik dát (data leakage) pri použití target encoding nastáva, keď sa informácie z cieľovej premennej preniknú do znakov, čo vedie k preueniu modelu.

Na boj proti úniku dát pri target encoding sa používajú nasledujúce metódy:

• Krížová validácia pri kódovaní: vypočítať target encoding pre každý fold, využívajúc iba údaje z iných foldov, vylučujúc aktuálny.
• Zjemnenie (smoothing): kombinovať priemernú hodnotu cieľovej premennej podľa kategórie s globálnym priemerom, aby sa znížil vplyv zriedkavých kategórií.
• Pridanie šumu: pridať náhodný šum ku kódovaným hodnotám, aby sa znížilo preušenie.
• Použitie samostatného tréningového súboru: vypočítať encoding iba na tréningových dátach a následne ho aplikovať na testovacie dáta.

Príklad zjemnenia:

# Pseudokód
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

Týmto spôsobom sa target encoding stáva odolnejším a znižuje sa riziko úniku dát.