Czym są metryki bez odniesienia i oparte na odniesieniu?

Metryki oparte na odniesieniu w uczeniu maszynowym i przetwarzaniu języka naturalnego to metody oceny jakości modelu, które wymagają odpowiedzi odniesienia lub zestawu odpowiedzi do porównania. Na przykład w zadaniach tłumaczenia maszynowego lub generowania tekstu często używa się BLEU, ROUGE, METEOR — porównują one wygenerowany tekst z tekstem odniesienia.

Metryki bez odniesienia (zwane również bez odniesienia) oceniają jakość wyjścia modelu bez bezpośredniego porównania z odpowiedzią odniesienia. Mogą korzystać z wewnętrznych cech tekstu, modeli językowych lub innych heurystyk do oceny jakości. Takie metryki są przydatne, gdy dane odniesienia są nieobecne lub ograniczone.

Przykład: do oceny systemów dialogowych metryki bez odniesienia mogą oceniać spójność, relewantność i poprawność gramatyczną odpowiedzi bez wariantu odniesienia, podczas gdy metryki oparte na odniesieniu wymagają uprzednio przygotowanych poprawnych odpowiedzi.