Qu'est-ce que le codage cible et quels sont ses problèmes (surapprentissage, fuite) ?

Le codage cible est une méthode de codage des caractéristiques catégoriques, dans laquelle chaque catégorie se voit attribuer une valeur numérique basée sur la statistique de la variable cible (par exemple, la moyenne de la cible pour cette catégorie).

Avantages :

• Permet d'utiliser efficacement les caractéristiques catégoriques dans des modèles qui traitent des données numériques.
• Peut améliorer la qualité du modèle, surtout lorsqu'il y a beaucoup de catégories.

Problèmes :

• Surapprentissage : si l'on utilise la moyenne de la cible sur l'ensemble de l'échantillon d'entraînement, le modèle peut mémoriser des valeurs spécifiques, ce qui nuit à sa capacité de généralisation.
• Fuite de données : lors du calcul de la statistique de la cible pour les catégories sur l'ensemble de l'échantillon, il y a une fuite d'informations de la cible vers les caractéristiques, ce qui fausse l'évaluation du modèle.

Comment éviter ces problèmes :

• Utiliser la validation croisée ou un lissage lors du calcul du codage cible.
• Appliquer des méthodes de régularisation, comme ajouter du bruit ou utiliser la moyenne globale.

Exemple de codage cible lissé :

# Pseudocode
pour chaque catégorie :
    valeur_encodée = (somme_cible_dans_catégorie + moyenne_globale * lissage) / (compte_dans_catégorie + lissage)

Ainsi, le codage cible est un outil puissant, mais il nécessite une utilisation prudente pour éviter le surapprentissage et la fuite de données.