Co je to kontaminace benchmarků a jak se s ní bojuje?

Kontaminace benchmarků je situace, kdy data používaná k tréninku modelu, se překrývají nebo shodují s daty, na kterých je prováděno hodnocení (testování). To vede k nadhodnoceným výsledkům, protože model již "zná" testovací příklady.

Jak s tím bojovat:

• Jasné oddělení dat: přísné rozdělení na tréninkové, validační a testovací sady bez překryvů.
• Kontrola na překryvy: automatické hledání a odstraňování duplicit nebo velmi podobných příkladů mezi tréninkem a testem.
• Použití nových, nezávislých datových sad: pro hodnocení modelu se používají data, která nebyla použita a nemohla být použita při tréninku.
• Kontrola zdrojů dat: sledování původu dat, aby se zabránilo náhodnému zařazení testovacích příkladů do tréninkové sady.

V kontextu velkých jazykových modelů (LLM) je kontaminace obzvlášť kritická, protože modely jsou trénovány na obrovských korpusech a testovací datové sady se mohou náhodně dostat do tréninkové sady, což zkresluje výsledky hodnocení.