რა არის ბენჩმარკების დაბინძურება და როგორ იბრძვიან მასთან?

ბენჩმარკების დაბინძურება — ეს არის სიტუაცია, როდესაც მოდელის სწავლებისთვის გამოყენებული მონაცემები გადაკვეთილია ან ემთხვევა იმ მონაცემებს, რომლებზეც შეფასება (ტესტირება) ხორციელდება. ეს იწვევს გადაჭარბებულ შედეგებს, რადგან მოდელი უკვე "განსაკუთრებით" იცნობს ტესტის მაგალითებს.

როგორ ვებრძოლოთ ამას:

• მონაცემების მკაცრი განყოფილება: მკაცრი განყოფილება სწავლების, ვალიდაციის და ტესტის ნაკრებების შორის, გადაკვეთების გარეშე.
• გადაკვეთების შემოწმება: ავტომატური ძიება და დუბლიკატების ან ძალიან მსგავს მაგალითთა ამოღება სწავლებისა და ტესტის შორის.
• ახალი, დამოუკიდებელი მონაცემთა ნაკრებების გამოყენება: მოდელის შეფასებისთვის გამოიყენება მონაცემები, რომლებიც არ გამოიყენებოდა და ვერ იქნებოდა გამოყენებული სწავლების დროს.
• მონაცემთა წყაროების კონტროლი: მონაცემთა წარმომავლობის მონიტორინგი, რათა თავიდან აიცილოს შემთხვევითი ტესტის მაგალითების ჩართვა სწავლების ნაკრებში.

დიდი ენის მოდელების (LLM) კონტამინაცია განსაკუთრებით კრიტიკულია, რადგან მოდელები სწავლობენ უზარმაზარ კორპუსებზე, და ტესტის მონაცემთა ნაკრებები შეიძლება შემთხვევით შევიდნენ სწავლების ნაკრებში, რაც ამახინჯებს შეფასების შედეგებს.