Wat is benchmarkcontaminatie en hoe wordt het bestreden?

Benchmark-contaminatie is een situatie waarin de gegevens die worden gebruikt om het model te trainen, overlappen of overeenkomen met de gegevens waarop de evaluatie (test) wordt uitgevoerd. Dit leidt tot overschatte resultaten, omdat het model al "bekend" is met de testvoorbeelden.

Hoe dit te bestrijden:

• Duidelijke scheiding van gegevens: strikte scheiding in trainings-, validatie- en testsets zonder overlapping.
• Controle op overlappingen: automatische zoekopdrachten en verwijdering van duplicaten of zeer vergelijkbare voorbeelden tussen training en test.
• Gebruik van nieuwe, onafhankelijke datasets: voor het beoordelen van het model worden gegevens gebruikt die niet zijn gebruikt en niet konden worden gebruikt tijdens de training.
• Controle van gegevensbronnen: het volgen van de herkomst van de gegevens om te voorkomen dat testvoorbeelden per ongeluk in de trainingsset terechtkomen.

In de context van grote taalmodellen (LLM) is contaminatie vooral kritisch, omdat modellen worden getraind op enorme corpora, en testdatasets per ongeluk in de trainingsset kunnen belanden, wat de beoordelingsresultaten vertekent.