Kas ir benchmark kontaminācija un kā ar to cīnīties?

Benchmark kontaminācija ir situācija, kad dati, kas tiek izmantoti modeļa apmācībai, pārklājas vai sakrīt ar datiem, uz kuriem tiek veikta novērtēšana (tests). Tas noved pie pārvērtētiem rezultātiem, jo modelis jau "zina" testu piemērus.

Kā ar to cīnīties:

• Skaidra datu atdalīšana: stingra sadalīšana apmācības, validācijas un testa kopās bez pārklāšanās.
• Pārklāšanās pārbaude: automātiska duplikātu vai ļoti līdzīgu piemēru meklēšana un noņemšana starp apmācību un testu.
• Jaunu, neatkarīgu datu kopu izmantošana: modeļa novērtēšanai tiek izmantoti dati, kas nav izmantoti un nevarēja tikt izmantoti apmācības laikā.
• Datu avotu kontrole: datu izcelsmes uzraudzība, lai novērstu nejaušu testa piemēru iekļūšanu apmācības kopā.

Lielu valodu modeļu (LLM) kontekstā kontaminācija ir īpaši kritiska, jo modeļi tiek apmācīti uz milzīgiem korpusiem, un testa datu kopas var nejauši nonākt apmācības kopā, izkropļojot novērtējuma rezultātus.