Ի՞նչ են ռեֆերանսից ազատ և ռեֆերանսի վրա հիմնված մետրիկաները։

Նշվածային հիմքով մեթոդները մեքենայական ուսուցման և բնական լեզվի մշակման ոլորտներում գնահատման մեթոդներ են, որոնք պահանջում են ռեֆերենցիոն (հղման) պատասխան կամ պատասխանների հավաքածու համեմատության համար: Օրինակ, ավտոմատ թարգմանության կամ տեքստի գեներացման խնդիրներում հաճախ օգտագործվում են BLEU, ROUGE, METEOR — դրանք համեմատում են գեներացված տեքստը ռեֆերենցիոն տեքստի հետ:

Նշվածային-ազատ մեթոդները (նույնպես անվանվում են առանց ռեֆերենցիայից) գնահատում են մոդելի ելքի որակը առանց ուղղակի համեմատության ռեֆերենցիոն պատասխանին: Նրանք կարող են օգտագործել տեքստի ներքին հատկանիշներ, լեզվական մոդելներ կամ այլ heuristics՝ որակի գնահատման համար: Այսպիսի մեթոդները օգտակար են, երբ ռեֆերենցիոն տվյալները բացակայում կամ սահմանափակ են:

Օրինակ՝ խոսակցական համակարգերի գնահատման ժամանակ, ռեֆերենցիոն-ազատ մեթոդները կարող են գնահատել պատասխանների կապակցությունը, համապատասխանությունը և գրատպականությունը ռեֆերենցիոն տարբերակ չլինելով, մինչդեռ ռեֆերենցիոն-հիմնված մեթոդները պահանջում են նախապես պատրաստված ճիշտ պատասխաններ։