Как оценивать RAG-системы? Какие метрики использовались?

RAG-системы (Retrieval-Augmented Generation) оцениваются по нескольким ключевым метрикам, которые отражают качество и релевантность сгенерированного ответа с учетом информации из внешних источников:

• Точность (Accuracy) — насколько ответ соответствует фактам из базы знаний.
• Полнота (Recall) — насколько полно система использует релевантную информацию.
• Коэффициент релевантности (Relevance) — насколько ответ соответствует запросу пользователя.
• BLEU, ROUGE, METEOR — метрики для оценки качества текста по сравнению с эталонными ответами.
• Human Evaluation — экспертная оценка качества, естественности и полезности ответов.

Для RAG важно не только качество генерации, но и эффективность поиска релевантных документов, поэтому оценивают также качество retrieval-компонента (например, Precision@k, Recall@k).