Čo je target encoding a aké má problémy (overfitting, leakage)?

Cieľové kódovanie je metóda kódovania kategorizovaných znakov, pri ktorej je každej kategórii priradená číselná hodnota založená na štatistike cieľovej premennej (napríklad priemerná hodnota cieľa pre danú kategóriu).

Výhody:

• Umožňuje efektívne využívanie kategorizovaných znakov v modeloch, ktoré pracujú s číselnými údajmi.
• Môže zlepšiť kvalitu modelu, najmä pri veľkom počte kategórií.

Problémy:

• Overfitting (přeučenie): ak sa použije priemerná hodnota cieľa na celej trénovacej množine, model si môže zapamätať špecifické hodnoty, čo znižuje jeho schopnosť generalizácie.
• Leakage (únik dát): pri výpočte štatistiky cieľa pre kategórie na celej vzorke dochádza k úniku informácií z cieľa do znakov, čo skresľuje hodnotenie modelu.

Ako sa vyhnúť problémom:

• Používajte krížovú validáciu alebo vyhladzovanie pri výpočte cieľového kódovania.
• Aplikujte metódy regularizácie, napríklad pridávanie šumu alebo použitie globálneho priemeru.

Príklad vyhladeného cieľového kódovania:

# Pseudokód
pre každú kategóriu:
    zakódovaná_hodnota = (súčet_cieľa_v_kategórii + globálny_priemer * vyhladenie) / (počet_v_kategórii + vyhladenie)

Takže, cieľové kódovanie je mocný nástroj, ale vyžaduje opatrné použitie, aby sa predišlo overfittingu a úniku dát.