Koje su metrike kvaliteta generisanja u RAG (verodostojnost, relevantnost odgovora, preciznost/recall konteksta)?

У RAG (Retrieval-Augmented Generation) често се користе следеће метрике за процену квалитета генерације:

• Веродостојност (тачност) — колико добро генерисани одговор одговара чињеницама изведеним из контекста. Важно за процену истинитости и одсуство измишљотина.

• Релевантност одговора — колико је одговор релевантан за постављено питање, односно да ли одговара потпуно и суштински.

• Точност/recall контекста — метрике које процењују квалитет извлачења релевантних информација из базе знања:

  • Точност (Precision) — проценат извучених докумената који су заиста релевантни.
  • Recall — проценат релевантних докумената који су извучени.

Ове метрике помажу да се разуме колико ефикасно модел користи спољни контекст и колико исправно формулише одговоре на основу њега.