Čo je kontaminácia benchmarkov a ako sa s ňou bojuje?

Znečistenie benchmarkov je situácia, keď sa údaje používané na tréning modelu prekrývajú alebo zhodujú s údajmi, na ktorých sa vykonáva hodnotenie (testovanie). To vedie k nadhodnoteným výsledkom, pretože model je už "oboznámený" s testovacími príkladmi.

Ako s tým bojovať:

• Jasné rozdelenie údajov: prísne rozdelenie na tréningové, validačné a testovacie súbory bez prekrývania.
• Kontrola na prekrývania: automatické hľadanie a odstraňovanie duplikátov alebo veľmi podobných príkladov medzi tréningom a testom.
• Použitie nových, nezávislých súborov údajov: na hodnotenie modelu sa používajú údaje, ktoré neboli použité a nemohli byť použité počas tréningu.
• Kontrola zdrojov údajov: sledovanie pôvodu údajov, aby sa zabránilo náhodnému zaradeniu testovacích príkladov do tréningového súboru.

V kontexte veľkých jazykových modelov (LLM) je znečistenie obzvlášť kritické, pretože modely sa trénujú na obrovských korpusoch a testovacie súbory môžu náhodne skončiť v tréningovom súbore, čo skresľuje výsledky hodnotenia.