Šta je target encoding i koji su njegovi problemi (overfitting, leakage)?

Ciljno kodiranje je metoda kodiranja kategorijalnih karakteristika, pri čemu svakoj kategoriji dodeljuje se numerička vrednost zasnovana na statistici ciljne promenljive (npr. prosečna vrednost cilja za tu kategoriju).

Prednosti:

• Omogućava efikasno korišćenje kategorijalnih karakteristika u modelima koji rade sa numeričkim podacima.
• Može poboljšati kvalitet modela, posebno kada postoji veliki broj kategorija.

Problemi:

• Overfitting (prekomerno prilagođavanje): ako se koristi prosečna vrednost cilja na celokupnom skupu za obuku, model može zapamtiti specifične vrednosti, što smanjuje njegovu sposobnost generalizacije.
• Leakage (curenje podataka): proračun statistike cilja za kategorije na celokupnom skupu dovodi do curenja informacija iz cilja u karakteristike, što iskrivljuje procenu modela.

Kako izbeći probleme:

• Koristite unakrsnu validaciju ili zaglađivanje pri izračunavanju ciljnog kodiranja.
• Primijenite metode regularizacije, poput dodavanja šuma ili korišćenja globalnog proseka.

Primer zaglađenog ciljnog kodiranja:

# Pseudokod
za svaku kategoriju:
    kodirana_vrednost = (suma_cilja_u_kategoriji + globalni_prosek * zaglađivanje) / (broj_u_kategoriji + zaglađivanje)

Tako je ciljno kodiranje moćan alat, ali zahteva pažljivo korišćenje kako bi se izbeglo prekomerno prilagođavanje i curenje podataka.