Avez-vous déjà rencontré une fuite de données lors de la formation du modèle?

Oui, la fuite de données (data leakage) lors de l’entraînement d’un modèle est un problème courant, lorsque des informations non disponibles dans des conditions réelles d’utilisation du modèle sont incluses dans les données d’entraînement. Cela conduit à un surapprentissage et à une estimation gonflée de la qualité.

Exemple : lors de la prévision du risque de crédit, une caractéristique dans l’échantillon d’entraînement peut être directement liée à la décision d’accorder un crédit (par exemple, le statut d’approbation), qui n’est pas connue dans la vie réelle au moment de la prédiction.

Pour éviter la fuite de données, il est important de :

• Séparer clairement les données d’entraînement et de test par le temps ou d’autres critères.
• Exclure les caractéristiques contenant des informations sur la variable cible ou des événements futurs.
• Effectuer une analyse approfondie des caractéristiques et de la logique métier.

Dans la pratique, j’ai rencontré des fuites en travaillant avec des séries temporelles, lorsque des données futures se retrouvaient accidentellement dans le jeu d’entraînement, ce qui conduisait à des métriques irréalistes et élevées.