Comment lutter contre les datalakes lors de l'utilisation du codage cible?

Les fuites de données (data leakage) lors de l'utilisation du codage cible se produisent lorsque des informations de la variable cible fuient dans les caractéristiques, ce qui conduit à un surapprentissage du modèle.

Pour lutter contre les fuites de données lors du codage cible, on applique les méthodes suivantes :

• Validation croisée lors du codage : calculer le codage cible pour chaque pli, en utilisant uniquement les données des autres plis, en excluant le pli actuel.
• Lissage (smoothing) : combiner la moyenne de la variable cible par catégorie avec la moyenne globale pour réduire l'impact des catégories rares.
• Ajout de bruit : ajouter du bruit aléatoire aux valeurs codées pour réduire le surapprentissage.
• Utilisation d'un ensemble d'entraînement séparé : calculer le codage uniquement sur les données d'entraînement, puis l'appliquer aux données de test.

Exemple de lissage :

# Pseudocode
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

Ainsi, le codage cible devient plus robuste et réduit le risque de fuite de données.