Qu'est-ce que le CV-leak et quelles en sont les sources ?

Fuite de CV (fuite de validation croisée) — c’est une situation où, lors de la validation croisée, le modèle obtient des informations de la partie test des données, ce qui conduit à une évaluation exagérée de la qualité du modèle et à une mauvaise capacité de généralisation.

Les principales sources de fuite CV :

• Fuite de caractéristiques (Feature leakage) : caractéristiques qui contiennent directement ou indirectement des informations sur la variable cible, par exemple, des caractéristiques créées en utilisant des données futures.

• Violation de l’ordre temporel : lors du travail avec des séries temporelles, les données futures sont incluses dans l’échantillon d’entraînement.

• Mauvaise division des données : lorsque dans différents plis, des objets liés apparaissent (par exemple, des données d’un même utilisateur ou d’une même session), ce qui conduit à une fuite d’informations.

• Utilisation de données agrégées calculées sur l’ensemble de l’échantillon, et non seulement sur la partie d’entraînement.

Pour éviter la fuite CV, il faut planifier soigneusement le schéma de division des données, utiliser des méthodes de prétraitement appropriées et empêcher que des informations du test ne pénètrent dans l’entraînement.