Kas ir bezreferencu un ar referenci balstītas metriku?

Novērtēšanas metodes, kas balstītas uz atsauci, mašīnmācībā un dabiskās valodas apstrādē, ir modeļa kvalitātes novērtēšanas metodes, kas prasa atsauces (references) atbildi vai atbilžu kopu salīdzināšanai. Piemēram, automātiskās tulkošanas vai teksta ģenerēšanas uzdevumos bieži izmanto BLEU, ROUGE, METEOR — tās salīdzina ģenerēto tekstu ar atsauci.

Bez atsauces (tāpat sauktas arī par bezatsauces) metodes novērtē modeļa izvades kvalitāti bez tiešas salīdzināšanas ar atsauces atbildi. Tās var izmantot teksta iekšējās īpašības, valodas modeļus vai citas heuristikas kvalitātes novērtēšanai. Šādas metrikas ir noderīgas, ja atsauces dati nav pieejami vai ir ierobežoti.

Piemērs: dialogu sistēmu novērtēšanā, bezatsauces metodes var novērtēt atbildes saskaņotību, relevanci un gramatisko pareizību bez atsauces varianta, kamēr atsauces balstītās metrikas prasa iepriekš sagatavotas pareizas atbildes.