Kokios yra RAG generacijos kokybės metrikos (patikimumas, atsakymo aktualumas, konteksto tikslumas/recall)?

RAG (Retrieval-Augmented Generation) dažnai naudojamos šios metrikos vertinant generacijos kokybę:

• Patikimumas (tikrumas) — kiek gerai sugeneruotas atsakymas atitinka iš konteksto išgautus faktus. Svarbu vertinant tikrumą ir neturint išgalvotų duomenų.

• Atsakymo aktualumas — kiek atsakymas yra aktualus užduotam klausimui, ar jis atsako pilnai ir esmę.

• Konteksto tikslumas/recall — metrikos, vertinančios svarbios informacijos išgavimą iš žinių bazės:

  • Tikslumas (Precision) — dalis išgautų dokumentų, kurie iš tikrųjų yra aktualūs.
  • Recall — dalis aktualių dokumentų, kurie buvo išgauti.

Šios metrikos padeda suprasti, kaip efektyviai modelis naudoja išorinį kontekstą ir kaip teisingai formuoja atsakymus remiantis juo.