Ce sunt metricile fără referință și cele bazate pe referință?

Metricile bazate pe referință în învățarea automată și procesarea limbajului natural sunt metode de evaluare a calității modelului care necesită un răspuns de referință sau un set de răspunsuri pentru comparație. De exemplu, în sarcinile de traducere automată sau generare de text, se folosesc adesea BLEU, ROUGE, METEOR — acestea compară textul generat cu cel de referință.

Metricile fără referință (numite și fără referință) evaluează calitatea ieșirii modelului fără comparație directă cu un răspuns de referință. Ele pot folosi caracteristici interne ale textului, modele lingvistice sau alte heuristici pentru a evalua calitatea. Astfel de metrici sunt utile atunci când datele de referință lipsesc sau sunt limitate.

Exemplu: pentru evaluarea sistemelor de dialog, metricile fără referință pot evalua coerența, relevanța și corectitudinea gramaticală a răspunsului fără o variantă de referință, în timp ce metricile bazate pe referință necesită răspunsuri corecte pregătite în prealabil.