Jakie są metryki jakości generacji w RAG (wiarygodność, trafność odpowiedzi, precyzja/recall kontekstu)?

W RAG (Retrieval-Augmented Generation) często używa się następujących metryk do oceny jakości generacji:

• Wiarygodność (prawdziwość) — jak bardzo wygenerowana odpowiedź odpowiada faktom wyciągniętym z kontekstu. Ważne dla oceny prawdziwości i braku wymysłów.

• Relewancja odpowiedzi — jak bardzo odpowiedź jest relewantna do zadane pytania, czyli czy odpowiada na nie w pełni i istotnie.

• Precyzja/recall kontekstu — metryki oceniające jakość wydobywania relewantnych informacji z bazy wiedzy:

  • Precyzja — odsetek wyodrębnionych dokumentów, które są rzeczywiście relewantne.
  • Recall — odsetek relewantnych dokumentów, które zostały wyodrębnione.

Te metryki pomagają zrozumieć, jak skutecznie model korzysta z zewnętrznego kontekstu i jak poprawnie formułuje odpowiedzi na jego podstawie.