Was ist Target Encoding und welche Probleme hat es (Overfitting, Leakage)?

Target-Encoding ist eine Methode der Kodierung kategorialer Merkmale, bei der jeder Kategorie ein numerischer Wert basierend auf der Statistik der Zielvariable zugewiesen wird (z.B. Durchschnittswert des Targets für diese Kategorie).

Vorteile:

• Ermöglicht eine effiziente Nutzung kategorialer Merkmale in Modellen, die mit numerischen Daten arbeiten.
• Kann die Modellqualität verbessern, insbesondere bei vielen Kategorien.

Probleme:

• Overfitting (Überanpassung): Wenn der Durchschnitt des Targets über die gesamte Trainingsmenge verwendet wird, kann das Modell spezifische Werte auswendig lernen, was die Generalisierungsfähigkeit verschlechtert.
• Leakage (Datenleckage): Bei der Berechnung der Target-Statistik für Kategorien auf der gesamten Stichprobe tritt eine Datenleckage auf, die die Modellbewertung verzerrt.

Wie man Probleme vermeidet:

• Kreuzvalidierung oder Glättung bei der Berechnung des Target-Encodings verwenden.
• Regularisierungsmethoden anwenden, z.B. Rauschen hinzufügen oder den globalen Durchschnitt verwenden.

Beispiel für geglättetes Target-Encoding:

# Pseudocode
für jede Kategorie:
    kodierter_Wert = (Summe_Target_in_Kategorie + global_Mean * Glättung) / (Anzahl_in_Kategorie + Glättung)

Das Target-Encoding ist also ein mächtiges Werkzeug, erfordert jedoch vorsichtigen Einsatz, um Overfitting und Datenleckage zu vermeiden.