Kuidas võidelda datalakes'idega, kasutades target encoding?

Andmete lekkimine (data leakage) target encoding kasutamisel toimub siis, kui teave sihtmuutujast lekkib tunnustesse, mis viib mudeli üleliigse sobitamiseni.

Andmete lekkimise vastu võitlemiseks target encodingi kasutamisel rakendatakse järgmisi meetodeid:

• Ristvalideerimine kodeerimise ajal: arvutada target encoding iga foldi jaoks, kasutades ainult teiste foldide andmeid, välja arvatud praegune fold.
• Sileduse (smoothing): kombineerida kategooria sihtmuutujate keskmine globaalsete keskmistega, et vähendada haruldaste kategooriate mõju.
• Müra lisamine: lisada juhuslik müra kodeeritud väärtustele, et vähendada üleõppimist.
• Eraldiseiseva treeningkomplekti kasutamine: arvutada encoding ainult treeningandmetel ja seejärel rakendada testandmetele.

Näide sileduse kohta:

# Pseudo-kood
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

Sel viisil muutub target encoding vastupidavamaks ning vähendab andmete lekkimise riski.