Qu'est-ce que la contamination des benchmarks et comment y lutter ?

La contamination des benchmarks est une situation où les données utilisées pour entraîner le modèle se croisent ou correspondent aux données sur lesquelles l’évaluation (test) est effectuée. Cela conduit à des résultats gonflés, car le modèle est déjà "familier" avec les exemples de test.

Comment lutter contre cela :

• Séparation claire des données : séparation stricte en ensembles d’entraînement, de validation et de test sans croisements.
• Vérification des croisements : recherche automatique et suppression des doublons ou des exemples très similaires entre l’entraînement et le test.
• Utilisation de nouveaux ensembles de données indépendants : pour évaluer le modèle, on utilise des données qui n’ont pas été utilisées et ne pouvaient pas l’être lors de l’entraînement.
• Contrôle des sources de données : suivi de l’origine des données pour éviter que des exemples de test ne se retrouvent accidentellement dans l’ensemble d’entraînement.

Dans le contexte des grands modèles de langage (LLM), la contamination est particulièrement critique, car les modèles sont entraînés sur d’énormes corpus, et les ensembles de données de test peuvent accidentellement se retrouver dans l’ensemble d’entraînement, ce qui fausse les résultats de l’évaluation.