Benchmarkların çirklənməsi nədir və onunla necə mübarizə aparılır?

Benchmark contaminasiyası, modelin öyrənilməsi üçün istifadə olunan məlumatların, qiymətləndirmə (test) üçün istifadə olunan məlumatlarla kəsişməsi və ya üst-üstə düşməsi vəziyyətidir. Bu, nəticələrin yuxarı çəkilməsinə səbəb olur, çünki model artıq "tanış" olur test nümunələri ilə.

Bununla mübarizə yolları:

• Məlumatların aydın bölünməsi: öyrənmə, təsdiqləmə və test toplusunun sərt şəkildə ayrılması, kəsişmədən.
• Kəsişmələrin yoxlanması: avtomatik axtarış və təkrarlanan və ya çox oxşar nümunələrin silinməsi.
• Yeni, müstəqil məlumat dəstlərinin istifadəsi: modeli qiymətləndirmək üçün, öyrənmə zamanı istifadə olunmayan və istifadə oluna bilməyən məlumatlar.
• Məlumat mənbələrinin nəzarəti: məlumatların mənşəyinin izlənməsi, test nümunələrinin təsadüfən öyrənmə toplusuna daxil olmasının qarşısını almaq.

Böyük dil modelləri (LLM) kontekstində, kontaminasiya xüsusilə kritikdir, çünki modellər böyük korpuslar üzərində öyrədilir və test məlumat dəstləri təsadüfən öyrənmə toplusuna daxil ola bilər, bu da qiymətləndirmə nəticələrini pozur.