Kas yra target encoding ir kokios yra jo problemos (overfitting, leakage)?

Tikslo kodavimas yra kategorinių požymių kodavimo metodas, kuriame kiekvienai kategorijai priskiriama skaitinė reikšmė, pagrįsta tikslinės kintamosios statistika (pavyzdžiui, vidutinė tikslo reikšmė šiai kategorijai).

Privalumai:

• Leidžia efektyviai naudoti kategorinius požymius modeliuose, kurie dirba su skaitmeniniais duomenimis.
• Gali pagerinti modelio kokybę, ypač kai kategorijų yra daug.

Problemos:

• Overfitting (peraugimas): jei naudojama visos mokymo imties tikslinė vidutinė reikšmė, modelis gali įsiminti konkrečias reikšmes, kas blogina jo bendrąją gebėjimą.
• Leakage (duomenų nutekėjimas): skaičiuojant tikslinės statistikas visai imčiai, įvyksta informacijos nutekėjimas iš tikslo į požymius, kas iškreipia modelio įvertinimą.

Kaip išvengti problemų:

• Naudoti kryžminę validaciją arba glotninimą skaičiuojant tikslo kodavimą.
• Taikyti reguliavimo metodus, pvz., pridėti triukšmą arba naudoti globalų vidurkį.

Pavyzdys glotninto tikslo kodavimo:

# Pseudokodas
kiekvienai kategorijai:
    koduota_reikšmė = (kategorijos tikslų suma + globalus vidurkis * glotninimas) / (kategorijos skaičius + glotninimas)

Taip, tikslo kodavimas yra galingas įrankis, tačiau reikalauja atsargaus taikymo, siekiant išvengti peraugimo ir duomenų nutekėjimo.