Ce este codificarea țintă și care sunt problemele sale (overfitting, leakage)?

Codificarea țintă este o metodă de codificare a caracteristicilor categorice, în care fiecărei categorii i se atribuie o valoare numerică bazată pe statistica variabilei țintă (de exemplu, valoarea medie a țintei pentru acea categorie).

Avantaje:

• Permite utilizarea eficientă a caracteristicilor categorice în modele care lucrează cu date numerice.
• Poate îmbunătăți calitatea modelului, mai ales când există un număr mare de categorii.

Probleme:

• Overfitting (supraînvățare): dacă se folosește media țintei pe întreg setul de antrenament, modelul poate memora valori specifice, ceea ce reduce capacitatea de generalizare.
• Leakage (scurgere de informații): calcularea statisticii țintei pentru categorii pe întregul set duce la scurgere de informații din țintă în caracteristici, distorsionând evaluarea modelului.

Cum să evitați problemele:

• Utilizați validarea încrucișată sau netezirea la calcularea codificării țintei.
• Aplicați metode de regularizare, cum ar fi adăugarea de zgomot sau utilizarea mediei globale.

Exemplu de codificare țintă netedită:

# Pseudocod
pentru fiecare categorie:
    valoare_codificată = (suma țintei în categorie + media_globală * netezire) / (numărul în categorie + netezire)

Astfel, codificarea țintă este un instrument puternic, dar necesită o utilizare atentă pentru a evita overfitting-ul și scurgerea de informații.