Как ты собирал метрики качества RAG-системы? Какие метрики использовал и какие инструменты?

Для оценки качества RAG (Retrieval-Augmented Generation) систем обычно собирают метрики, которые отражают как качество поиска релевантной информации, так и качество генерации ответа.

Основные метрики:

• Retrieval Quality:

  • Recall@k — насколько часто релевантные документы попадают в топ-k результатов.
  • Precision@k — точность среди выбранных документов.
  • MAP (Mean Average Precision) — усреднённая точность по всем запросам.

• Generation Quality:

  • BLEU, ROUGE — метрики совпадения с эталонным текстом.
  • F1-score — для оценки точности и полноты ответов.
  • Human Evaluation — оценка по критериям релевантности, связности, достоверности.

Инструменты:

• Для сбора и анализа метрик retrieval можно использовать библиотеки типа pytrec_eval.
• Для генеративных метрик — NLTK, ROUGE пакеты.
• Для мониторинга и визуализации — TensorBoard, MLflow или собственные дашборды.

Пример: собирая метрики, я запускал pipeline, где сначала извлекал документы, вычислял Recall@5, затем генерировал ответ и оценивал ROUGE с эталоном. Все метрики логировал в MLflow для удобного сравнения моделей.