Ի՞նչ է բենչմարկների աղտոտումը և ինչպես պայքարել դրա դեմ:

Կոռուպցիայի բենչմարկները — դա իրավիճակ է, երբ տվյալները, որոնք օգտագործվում են մոդելի ուսուցման համար, հատվում կամ համընկնում են տվյալների հետ, որոնց վրա կատարվում է գնահատում (տեստավորում): Սա հանգեցնում է բարձրացված արդյունքների, քանի որ մոդելը արդեն «ծանոթ է» թեստային օրինակներին:

Ինչպես պայքարել դրա դեմ՝

• Տվյալների հստակ բաժանում՝ խիստ բաժանում ուսուցման, վավերացման և թեստավորման հավաքածուների միջև առանց հատման:
• Հատումների ստուգում՝ ավտոմատ որոնում և կրկնօրինակների կամ շատ նման օրինակների հեռացում ուսուցումից և թեստից:
• Նոր, անկախ տվյալների հավաքածուների օգտագործում՝ մոդելի գնահատման համար օգտագործվում են տվյալներ, որոնք չեն օգտագործվել և չեն կարող օգտագործվել ուսուցման ժամանակ:
• Տվյալների աղբյուրների վերահսկում՝ տվյալների ծագման հետևում, որպեսզի կանխվի թեստային օրինակների պատահական անցումը ուսուցման հավաքածու:

Մեծ լեզվական մոդելների (LLM) կոնտամինացիան հատկապես կարևոր է, քանի որ մոդելները ուսուցանվում են հսկայական կորպուսների վրա, և թեստային տվյալները կարող են պատահականորեն հայտնվել ուսուցման հավաքածուում, ինչը խեղաթյուրում է գնահատման արդյունքները։