Как вы оценивали качество RAG-системы? Какие метрики использовали?

Для оценки качества RAG (Retrieval-Augmented Generation) систем обычно используют несколько метрик, которые отражают как качество поиска релевантной информации, так и качество генерации текста.

1. Метрики качества поиска (retrieval):

• Recall@k — доля релевантных документов, найденных среди первых k результатов.
• Precision@k — точность среди первых k найденных документов.
• Mean Reciprocal Rank (MRR) — средний обратный ранг первого релевантного документа.

2. Метрики качества генерации:

• BLEU, ROUGE, METEOR — для оценки совпадения с эталонными ответами.
• Perplexity — для оценки вероятности сгенерированного текста.

3. Качество конечного ответа:

• Human Evaluation — оценка ответов экспертами по таким критериям, как полнота, точность, связность.
• Factuality Metrics — метрики, оценивающие фактологическую корректность сгенерированного текста.

Пример: если RAG используется для ответов на вопросы, можно измерять Recall@5 для retrieval и ROUGE-L для генерации, а также проводить ручную проверку на соответствие фактам.