Cos'è la codifica target e quali sono i suoi problemi (overfitting, leakage)?

La codifica target è un metodo di codifica delle caratteristiche categoriche, in cui a ogni categoria viene assegnato un valore numerico basato sulla statistica della variabile target (ad esempio, il valore medio della target per quella categoria).

Vantaggi:

• Permette di utilizzare efficacemente le caratteristiche categoriche in modelli che lavorano con dati numerici.
• Può migliorare la qualità del modello, specialmente quando ci sono molte categorie.

Problemi:

• Overfitting (sovraccarico): se si utilizza la media della target sull'intero set di addestramento, il modello può memorizzare valori specifici, peggiorando la sua capacità di generalizzazione.
• Fuga di dati: calcolando la statistica della target per le categorie sull'intero set, si verifica una fuga di informazioni dalla target alle caratteristiche, distorcendo la valutazione del modello.

Come evitare questi problemi:

• Utilizzare la validazione incrociata o la levigatura nel calcolo della codifica target.
• Applicare metodi di regolarizzazione, come aggiungere rumore o usare la media globale.

Esempio di codifica target levigata:

# Pseudocodice
per ogni categoria:
    valore_codificato = (somma_target_in_categoria + media_globale * levigatura) / (conteggio_in_categoria + levigatura)

Quindi, la codifica target è uno strumento potente, ma richiede un uso attento per evitare overfitting e fuga di dati.