Mi a referencia nélküli és referencia alapú metrika?

Referencia-alapú metrikák gépi tanulásban és természetes nyelvfeldolgozásban olyan értékelési módszerek, amelyekhez referencia-válasz vagy válaszok halmaza szükséges az összehasonlításhoz. Például gépi fordítási vagy szöveggenerálási feladatoknál gyakran használják a BLEU, ROUGE, METEOR metrikákat — ezek összehasonlítják a generált szöveget a referencia szöveggel.

Referencia nélküli metrikák (más néven referencia nélküli) értékelik a modell kimenetének minőségét közvetlen referencia válasz nélkül. Használhatnak belső jellemzőket, nyelvi modelleket vagy más heuristikákat a minőség értékeléséhez. Ezek a metrikák hasznosak, amikor a referencia adatok hiányoznak vagy korlátozottak.

Példa: dialógus rendszerek értékelésekor a referencia nélküli metrikák értékelhetik a válasz koherenciáját, relevanciáját és nyelvtani helyességét referencia nélkül, míg a referencia-alapú metrikák előre elkészített helyes válaszokat igényelnek.