Кои са метриките за качество на генериране в RAG (верност, релевантност на отговора, прецизност/recall на контекста)?

В RAG (Retrieval-Augmented Generation) често се използват следните метрики за оценка на качеството на генериране:

• Вярност (достоверност) — колко добре генерираният отговор съответства на фактите, извлечени от контекста. Важна за оценка на истинността и липсата на измислици.

• Релевантност на отговора — колко релевантен е отговорът към зададения въпрос, тоест дали отговаря пълно и по същество.

• Точност/recall на контекста — метрики, които оценяват качеството на извличане на релевантна информация от базата знания:

  • Точност (Precision) — делът на извлечените документи, които са наистина релевантни.
  • Recall — делът на релевантните документи, които са били извлечени.

Тези метрики помагат да се разбере колко ефективно моделът използва външния контекст и колко коректно формулира отговорите въз основа на него.