Co je target encoding a jaké má problémy (overfitting, leakage)?

Cílové kódování je metoda kódování kategoriálních znaků, při které je každé kategorii přiřazena číselná hodnota založená na statistice cílové proměnné (například průměrná hodnota cíle pro danou kategorii).

Výhody:

• Umožňuje efektivně využívat kategoriální znaky v modelech pracujících s číselnými daty.
• Může zlepšit kvalitu modelu, zejména při velkém počtu kategorií.

Problémy:

• Overfitting (přeučení): pokud se použije průměr cíle na celé trénovací množině, model si může zapamatovat konkrétní hodnoty, což snižuje jeho schopnost generalizace.
• Leakage (únik dat): při výpočtu statistiky cíle pro kategorie na celé množině dochází k úniku informací z cíle do znaků, což zkresluje hodnocení modelu.

Jak se vyhnout problémům:

• Používat křížovou validaci nebo vyhlazování při výpočtu cílového kódování.
• Aplikovat metody regularizace, například přidáním šumu nebo použitím globálního průměru.

Příklad vyhlazeného cílového kódování:

# Pseudokód
pro každou kategorii:
    zakódovaná_hodnota = (součet cíle v kategorii + globální_průměr * vyhlazení) / (počet v kategorii + vyhlazení)

Tímto je cílové kódování mocný nástroj, ale vyžaduje opatrné použití, aby se předešlo přeučení a úniku dat.