Mis on benchmarkide saastumine ja kuidas sellega võidelda?

Benchmarki saastumine on olukord, kus mudeli treenimiseks kasutatavad andmed kattuvad või langevad kokku hindamise (testimise) andmetega. See viib ülehinnatud tulemusteni, kuna mudel on juba "tuttav" testnäidete osas.

Kuidas sellega võidelda:

• Andmete selge eraldamine: range eraldamine treening-, valideerimis- ja testkomplektide vahel ilma kattuvuseta.
• Kattuvuste kontroll: automaatne duplikaatide või väga sarnaste näidete otsimine ja eemaldamine treeningu ja testi vahel.
• Uute, sõltumatute andmekogumite kasutamine: mudeli hindamiseks kasutatakse andmeid, mida ei ole kasutatud ega saanud kasutada treeningu ajal.
• Andmeallikate kontroll: andmete päritolu jälgimine, et vältida juhuslikku testnäidete sattumist treeningkomplekti.

Suure keelemudelite (LLM) kontekstis on saastumine eriti kriitiline, kuna mudelid treenitakse suurte korpuste peal ning testandmekogumid võivad juhuslikult treeningkomplekti sattuda, mis moonutab hindamistulemusi.