Was sind referenzfreie und referenzbasierte Metriken?

Referenzbasierte Metriken im maschinellen Lernen und in der Verarbeitung natürlicher Sprache sind Bewertungsmethoden, die eine Referenzantwort oder eine Reihe von Antworten zum Vergleich benötigen. Zum Beispiel werden bei maschinellen Übersetzungs- oder Textgenerierungsaufgaben häufig BLEU, ROUGE, METEOR verwendet — sie vergleichen den generierten Text mit der Referenz.

Referenzfreie Metriken (auch als ohne Referenz bezeichnet) bewerten die Qualität der Modell-Ausgabe ohne direkten Vergleich mit einer Referenzantwort. Sie können interne Textmerkmale, Sprachmodelle oder andere Heuristiken verwenden, um die Qualität zu bewerten. Solche Metriken sind nützlich, wenn Referenzdaten fehlen oder begrenzt sind.

Beispiel: Zur Bewertung von Dialogsystemen können referenzfreie Metriken die Kohärenz, Relevanz und Grammatik der Antwort ohne eine Referenzvariante bewerten, während referenzbasierte Metriken vorab vorbereitete korrekte Antworten erfordern.