Wat is target encoding en wat zijn de problemen ervan (overfitting, leakage)?

Target encoding is een methode voor het coderen van categorische kenmerken, waarbij elke categorie een numerieke waarde krijgt op basis van de statistiek van de doelvariabele (bijvoorbeeld het gemiddelde van de target voor die categorie).

Voordelen:

• Maakt het mogelijk om categorische kenmerken efficiënt te gebruiken in modellen die met numerieke gegevens werken.
• Kan de modelkwaliteit verbeteren, vooral bij veel categorieën.

Problemen:

• Overfitting: als het gemiddelde van de target over de hele trainingsset wordt gebruikt, kan het model specifieke waarden onthouden, wat de generalisatievermogen vermindert.
• Leakage: bij het berekenen van de statistiek van de target voor categorieën over de hele steekproef, treedt informatielek op van de target naar de kenmerken, wat de modelbeoordeling verstoort.

Hoe problemen te voorkomen:

• Gebruik cross-validatie of smoothing bij het berekenen van target encoding.
• Pas regularisatiemethoden toe, zoals ruis toevoegen of gebruik maken van het globale gemiddelde.

Voorbeeld van gesmoothde target encoding:

# Pseudocode
voor elke categorie:
    gecodeerde_waarde = (som_target_in_categorie + globale_gemiddelde * smoothing) / (aantal_in_categorie + smoothing)

Dus, target encoding is een krachtig hulpmiddel, maar vereist zorgvuldig gebruik om overfitting en leakage te voorkomen.