Referanssız və referansa əsaslanan metriklər nədir?

Mənbəyə əsaslanan metriklər maşın öyrənməsi və təbii dil işlənməsində modelin keyfiyyətini qiymətləndirmək üçün referans (nümunə) cavab və ya cavablar toplusu tələb edən metodlardır. Məsələn, maşın tərcüməsi və ya mətn yaradılması tapşırıqlarında tez-tez BLEU, ROUGE, METEOR istifadə olunur — onlar yaradılan mətnlə referens mətnini müqayisə edir.

Referanssız metriklər (həmçinin referanssız adlanır) modelin çıxışının keyfiyyətini birbaşa referens cavab ilə müqayisə etmədən qiymətləndirir. Onlar mətnin daxili xüsusiyyətləri, dil modelləri və ya digər heuristiklərdən istifadə edə bilər. Belə metriklər referens məlumatlar mövcud olmadıqda və ya məhdud olduqda faydalıdır.

Nümunə: dialoq sistemlərinin qiymətləndirilməsində, referanssız metriklər cavabın əlaqəliliyi, uyğunluğu və qrammatik düzgünlüyünü referans olmadan qiymətləndirə bilər, referans əsaslı metriklər isə əvvəlcədən hazırlanmış düzgün cavablar tələb edir.