Kas ir target encoding un kādas ir tās problēmas (overfitting, leakage)?

Mērķa kodēšana ir kategorisko raksturlielumu kodēšanas metode, kur katrai kategorijai piešķir skaitlisku vērtību, balstoties uz mērķa mainīgā statistiku (piemēram, vidējo mērķa vērtību šajā kategorijā).

Priekšrocības:

• Efektīvi ļauj izmantot kategoriskos raksturlielumus modeļos, kas strādā ar skaitliskajiem datiem.
• Var uzlabot modeļa kvalitāti, īpaši, ja ir daudz kategoriju.

Problēmas:

• Overfitting (pārmācīšanās): ja tiek izmantota visa apmācības parauga mērķa vidējā vērtība, modelis var iemācīties konkrētas vērtības, kas samazina tā vispārējo spēju.
• Leakage (informācijas noplūde): aprēķinot mērķa statistiku visam paraugam, notiek informācijas noplūde no mērķa uz raksturlielumiem, kas izkropļo modeļa novērtējumu.

Kā izvairīties no problēmām:

• Izmantot krustvalidāciju vai gludināšanu, aprēķinot mērķa kodēšanu.
• Pielietot regulēšanas metodes, piemēram, pievienojot troksni vai izmantojot globālo vidējo.

Piemērs gludinātai mērķa kodēšanai:

# Pseido-kods
katrai kategorijai:
    kodēta_vērtība = (kategorijas mērķu summa + globālais vidējais * gludināšana) / (kategorijas skaits + gludināšana)

Tādējādi, mērķa kodēšana ir spēcīgs rīks, bet prasa uzmanīgu pielietojumu, lai izvairītos no pārmācīšanās un informācijas noplūdes.