Mik a generálás minőségi mérőszámai a RAG-ben (hitelesség, válasz relevancia, kontextus precizitás/recall)?

A RAG (Retrieval-Augmented Generation) esetében gyakran használják a következő metrikákat a generáció minőségének értékelésére:

• Hűség (hitelesség) — hogy a generált válasz mennyire felel meg a kontextusból kinyert tényeknek. Fontos az igazságosság és a kitalált elemek hiányának értékelésében.

• Válasz relevanciája — hogy a válasz mennyire releváns a feltett kérdéshez, azaz, hogy teljes és lényegre törő választ ad-e.

• Kontekstus pontossága/recall — olyan metrikák, amelyek értékelik a releváns információk kinyerésének minőségét a tudásbázisból:

  • Pontosság (Precision) — a kinyert dokumentumok aránya, amelyek valóban relevánsak.
  • Recall — a releváns dokumentumok aránya, amelyeket kinyertek.

Ezek a metrikák segítenek megérteni, hogy a modell milyen hatékonyan használja a külső kontextust, és mennyire helyesen formálja meg a válaszokat ennek alapján.