Czym jest target encoding i jakie ma problemy (overfitting, leakage)?

Kodowanie docelowe to metoda kodowania cech kategorycznych, w której każdej kategorii przypisywana jest wartość liczbowa oparta na statystyce zmiennej celu (np. średnia wartość celu dla danej kategorii).

Zalety:

• Pozwala na efektywne wykorzystanie cech kategorycznych w modelach operujących na danych numerycznych.
• Może poprawić jakość modelu, szczególnie przy dużej liczbie kategorii.

Problemy:

• Overfitting (nadmierne dopasowanie): jeśli użyje się średniej celu na całej próbce treningowej, model może zapamiętać konkretne wartości, co pogorszy jego zdolność do generalizacji.
• Wycieki danych: obliczając statystykę celu dla kategorii na całej próbce, dochodzi do wycieku informacji z celu do cech, co zniekształca ocenę modelu.

Jak unikać problemów:

• Używać walidacji krzyżowej lub wygładzania przy obliczaniu kodowania celu.
• Stosować metody regularizacji, np. dodawanie szumu lub używanie średniej globalnej.

Przykład wygładzonego kodowania celu:

# Pseudokod
dla każdej kategorii:
    wartość zakodowana = (suma celu w kategorii + średnia globalna * wygładzanie) / (liczba w kategorii + wygładzanie)

Tak więc, kodowanie celu jest potężnym narzędziem, ale wymaga ostrożnego stosowania, aby uniknąć nadmiernego dopasowania i wycieków danych.