Benchmark'lerdeki kirlenme nedir ve nasıl mücadele edilir?

Benchmark kirliliği, modelin eğitildiği verilerin, değerlendirme (test) yapıldığı verilerle kesiştiği veya çakıştığı bir durumdur. Bu, modelin test örnekleriyle zaten "tanışık" olduğu için aşırı yüksek sonuçlara yol açar.

Bununla mücadele yolları:

• Verilerin net ayrımı: eğitim, doğrulama ve test setlerinin katı şekilde ayrılması, kesişmeden.
• Kesişmelerin kontrolü: eğitim ve test arasında otomatik olarak yinelenen veya çok benzeyen örneklerin aranması ve kaldırılması.
• Yeni, bağımsız veri setlerinin kullanımı: modeli değerlendirmek için, eğitim sırasında kullanılmamış ve kullanılamayacak veriler kullanılır.
• Veri kaynaklarının kontrolü: verilerin kaynağını izleme, böylece test örneklerinin kazara eğitim setine girmesini önleme.

Büyük dil modelleri (LLM) bağlamında, kirlilik özellikle kritiktir çünkü modeller büyük kütüphaneler üzerinde eğitilir ve test veri setleri kazara eğitim setine karışabilir, bu da değerlendirme sonuçlarını çarpıtır.