Mis on viitevabad ja viitepõhised mõõdikud?

Hindamismeetodid, mis põhinevad viitel, masinõppes ja loomuliku keele töötlemises, on meetodid, mis hindavad mudeli kvaliteeti, nõudes võrdluseks viitevastust või vastuste kogumit. Näiteks masintõlke või teksti genereerimise ülesannetes kasutatakse sageli BLEU, ROUGE, METEOR — need võrdlevad genereeritud teksti viitega.

Ilma viiteta (samuti nimetatakse ilma viiteta) meetodid hindavad mudeli väljundi kvaliteeti ilma otsese võrdluseta viitevastusega. Nad võivad kasutada teksti sisemisi omadusi, keelemudeleid või muid heuristikuid kvaliteedi hindamiseks. Sellised meetodid on kasulikud, kui viited on puudulikud või piiratud.

Näide: dialoogisüsteemide hindamisel võivad ilma viiteta meetodid hinnata vastuse sidusust, asjakohasust ja grammatikaõigsust ilma viitevõimaluseta, samas kui viidete põhised meetodid nõuavad eelnevalt ettevalmistatud õigeid vastuseid.