Какво е замърсяване на бенчмарковете и как се борят с него?

Заразяването на бенчмаркове е ситуация, при която данните, използвани за обучение на модела, се припокриват или съвпадат с данните, върху които се извършва оценката (тестът). Това води до завишени резултати, тъй като моделът вече е "запознат" с тестовите примери.

Как се борят с това:

• Ясно разделяне на данните: строго разделяне на обучаващи, валидиращи и тестови набори без припокривания.
• Проверка за припокривания: автоматично търсене и премахване на дублиращи се или много подобни примери между обучението и теста.
• Използване на нови, независими набори от данни: за оценка на модела се използват данни, които не са били използвани и не могат да бъдат използвани по време на обучението.
• Контрол на източниците на данни: проследяване на произхода на данните, за да се избегне случайното попадане на тестови примери в обучаващия набор.

В контекста на големите езикови модели (LLM) заразяването е особено критично, тъй като моделите се обучават върху огромни корпуси, а тестовите набори могат случайно да попаднат в обучаващия набор, което изкривява резултатите от оценката.