Jaké jsou metriky kvality generace v RAG (věrnost, relevantnost odpovědi, přesnost/recall kontextu)?

V RAG (Retrieval-Augmented Generation) se často používají následující metriky k hodnocení kvality generování:

• Věrnost (pravdivost) — jak dobře generovaná odpověď odpovídá faktům extrahovaným z kontextu. Důležité pro hodnocení pravdivosti a absence vymýšlení.

• Relevance odpovědi — jak je odpověď relevantní k položené otázce, tj. zda odpovídá úplně a podstatně.

• Přesnost/recall kontextu — metriky hodnotící kvalitu extrakce relevantních informací z databáze znalostí:

  • Přesnost (Precision) — podíl extrahovaných dokumentů, které jsou skutečně relevantní.
  • Recall — podíl relevantních dokumentů, které byly extrahovány.

Tyto metriky pomáhají pochopit, jak efektivně model využívá externí kontext a jak správně formuluje odpovědi na jeho základě.