Kas yra be nuorodos ir su nuoroda pagrįstos metrikos?

Vertinimo metodai, pagrįsti nuoroda, mašininiame mokyme ir natūralios kalbos apdorojime, yra modelio kokybės įvertinimo metodai, kurie reikalauja nuorodos (referencijos) atsakymo arba atsakymų rinkinio palyginimui. Pavyzdžiui, automatinio vertimo ar teksto generavimo užduotyse dažnai naudojami BLEU, ROUGE, METEOR — jie lygina sugeneruotą tekstą su nuoroda.

Be nuorodos (taip pat vadinamos be nuorodos) metodai įvertina modelio išvesties kokybę be tiesioginio palyginimo su nuorodos atsakymu. Jie gali naudoti teksto vidines savybes, kalbos modelius ar kitus heuristinius metodus kokybei įvertinti. Tokie metodai naudingi, kai nuorodos duomenys nėra prieinami arba yra riboti.

Pavyzdžiui, dialogo sistemų vertinime, be nuorodos metodai gali įvertinti atsakymo nuoseklumą, aktualumą ir gramatinį teisingumą be nuorodos varianto, o nuoroda pagrįsti metodai reikalauja iš anksto paruoštų teisingų atsakymų.