Welke methoden bestaan er voor het werken met categorische kenmerken?

Categorische kenmerken in machine learning worden op verschillende manieren behandeld:

1. Label Encoding — elke categorie krijgt een unieke nummer. Geschikt voor geordende categorieën, maar kan het model in de war brengen als er geen volgorde is.

2. One-Hot Encoding — er wordt een binaire feature gemaakt voor elke categorie. Bijvoorbeeld, de feature "Kleur" met categorieën {rood, blauw, groen} wordt omgezet in drie binaire features.

3. Target Encoding — categorieën worden vervangen door statistieken van de doelvariabele (bijvoorbeeld het gemiddelde van de doelvariabele voor elke categorie). Voorzichtigheid is geboden om datalekken te voorkomen.

4. Frequency Encoding — categorieën worden vervangen door hun frequentie in de data.

5. Embeddings — voor categorieën met veel unieke waarden (bijvoorbeeld in NLP) worden vectorrepresentaties gebruikt die samen met het model worden getraind.

De keuze van methode hangt af van de taak, het model en de hoeveelheid data. Bijvoorbeeld, voor beslissingsbomen is vaak Label of One-Hot Encoding voldoende, voor neurale netwerken — embeddings.

Voorbeeld van One-Hot Encoding in Python met pandas:

import pandas as pd

df = pd.DataFrame({'Kleur': ['rood', 'blauw', 'groen', 'blauw']})
df_encoded = pd.get_dummies(df, columns=['Kleur'])
print(df_encoded)

Resultaat:

   Kleur_rood  Kleur_groen  Kleur_blauw
0             1            0             0
1             0            0             1
2             0            1             0
3             0            0             1