Czym jest zanieczyszczenie benchmarków i jak się z nim walczy?

Zanieczyszczenie benchmarków to sytuacja, gdy dane używane do trenowania modelu pokrywają się lub nakładają na dane, na których przeprowadzana jest ocena (test). Prowadzi to do zawyżonych wyników, ponieważ model jest już "znany" z przykładów testowych.

Jak z tym walczyć:

• Wyraźny podział danych: ścisłe rozdzielenie na zestawy treningowe, walidacyjne i testowe bez nakładek.
• Sprawdzanie na nakładki: automatyczne wyszukiwanie i usuwanie duplikatów lub bardzo podobnych przykładów między treningiem a testem.
• Użycie nowych, niezależnych zestawów danych: do oceny modelu stosuje się dane, które nie były używane i nie mogły być użyte podczas treningu.
• Kontrola źródeł danych: śledzenie pochodzenia danych, aby uniknąć przypadkowego włączenia przykładów testowych do zestawu treningowego.

W kontekście dużych modeli językowych (LLM) zanieczyszczenie jest szczególnie krytyczne, ponieważ modele są trenowane na ogromnych korpusach, a zestawy danych testowych mogą przypadkowo znaleźć się w zestawie treningowym, co zniekształca wyniki oceny.