Какие метрики качества генерации в RAG (faithfulness, answer relevancy, context precision/recall)?

Компании, где спрашивали

ВижнТех

Ответ от нейросети

sobes.tech AI

В RAG (Retrieval-Augmented Generation) для оценки качества генерации часто используют следующие метрики:

Faithfulness (достоверность) — насколько сгенерированный ответ соответствует фактам, извлечённым из контекста. Важна для оценки правдивости и отсутствия выдумок.
Answer relevancy (релевантность ответа) — насколько ответ релевантен заданному вопросу, то есть отвечает ли на него полно и по существу.
Context precision/recall (точность и полнота контекста) — метрики, оценивающие качество извлечения релевантной информации из базы знаний:
- Precision — доля извлечённых документов, которые действительно релевантны.
- Recall — доля релевантных документов, которые были извлечены.

Эти метрики помогают понять, насколько эффективно модель использует внешний контекст и насколько корректно формирует ответы на его основе.