Mi az a benchmark szennyezés, és hogyan kezelik?

A benchmark szennyezés olyan helyzet, amikor a modell tanításához használt adatok átfednek vagy egyeznek az értékelés (teszt) során használt adatokkal. Ez túlbecsült eredményekhez vezet, mivel a modell már "ismeri" a teszt példákat.

Hogyan küzdenek ellene:

• Adatok egyértelmű szétválasztása: szigorú szétválasztás a tanuló, validációs és tesztkészletek között anélkül, hogy átfedés lenne.
• Átfedések ellenőrzése: automatikus keresés és duplikátumok vagy nagyon hasonló példák eltávolítása a tanulási és teszt adatok között.
• Új, független adatállományok használata: a modell értékeléséhez olyan adatokat használnak, amelyeket nem használtak és nem is használhattak a tanulás során.
• Adatforrások ellenőrzése: az adatok eredetének nyomon követése, hogy elkerüljék a teszt példák véletlen bekerülését a tanulási készletbe.

Nagy nyelvi modellek (LLM) esetében a szennyezés különösen kritikus, mivel a modelleket hatalmas korpuszokon tanítják, és a tesztadatok véletlenül bekerülhetnek a tanulási készletbe, ami torzítja az értékelési eredményeket.