Aké sú metriky kvality generovania v RAG (verodostojnosť, relevantnosť odpovede, presnosť/recall kontextu)?

V RAG (Retrieval-Augmented Generation) sa často používajú nasledujúce metriky na hodnotenie kvality generovania:

• Vernosť (pravdivosť) — ako dobre generovaná odpoveď zodpovedá faktom extrahovaným z kontextu. Dôležité pre hodnotenie pravdivosti a absenciu vymýšľania.

• Relevancia odpovede — ako je odpoveď relevantná k položenému otázke, čiže či odpovedá úplne a podstatne.

• Presnosť/recall kontextu — metriky hodnotiace kvalitu extrakcie relevantných informácií z databázy znalostí:

  • Presnosť (Precision) — podiel extrahovaných dokumentov, ktoré sú skutočne relevantné.
  • Recall — podiel relevantných dokumentov, ktoré boli extrahované.

Tieto metriky pomáhajú pochopiť, ako efektívne model využíva externý kontext a ako správne formuluje odpovede na jeho základe.