Wat is Bayesian target encoding?

Bayesiaanse doelcodering is een methode voor het coderen van categorische kenmerken in machine learning-taken, gebaseerd op het gebruik van statistieken van de doelvariabele met Bayesiaanse smoothing.

Het idee is om de categorie te vervangen door een getal dat het gemiddelde van de doelvariabele voor die categorie weergeeft, rekening houdend met het algemene gemiddelde en het aantal observaties om overfitting op zeldzame categorieën te voorkomen.

De smoothing-formule ziet er meestal zo uit:

[ \text{GecodeerdeWaarde} = \frac{\text{gemiddelde_doel_voor_categorie} \times n + \text{globaal_gemiddelde} \times k}{n + k} ]

waar:

• (n) — aantal observaties in de categorie,
• (k) — smoothing-parameter (gewicht van het a priori-gemiddelde),
• (\text{globaal_gemiddelde}) — gemiddelde over de hele steekproef.

Deze aanpak helpt om ruis en overfitting te verminderen, vooral bij het werken met zeldzame categorieën, en wordt vaak gebruikt in boosting-algoritmen voor tabelgegevens.