Cos'è la contaminazione dei benchmark e come si combatte?

La contaminazione dei benchmark è una situazione in cui i dati utilizzati per addestrare il modello si sovrappongono o coincidono con i dati su cui viene effettuata la valutazione (test). Questo porta a risultati gonfiati, poiché il modello è già "familiare" con gli esempi di test.

Come si combatte:

• Separazione chiara dei dati: divisione rigorosa in set di addestramento, validazione e test senza sovrapposizioni.
• Verifica delle sovrapposizioni: ricerca automatica e rimozione di duplicati o esempi molto simili tra addestramento e test.
• Utilizzo di nuovi set di dati indipendenti: per valutare il modello, si usano dati che non sono stati usati né potevano essere usati durante l'addestramento.
• Controllo delle fonti dei dati: monitoraggio dell'origine dei dati per evitare che esempi di test finiscano accidentalmente nel set di addestramento.

Nel contesto di grandi modelli linguistici (LLM), la contaminazione è particolarmente critica, poiché i modelli vengono addestrati su enormi corpora, e i set di dati di test possono finire accidentalmente nel set di addestramento, distorcendo i risultati della valutazione.