Какие метрики использовались для оценки RAG-системы и как принималось решение о выкатке в прод?

Для оценки RAG-системы (Retrieval-Augmented Generation) обычно используют метрики, которые отражают качество как поиска релевантной информации, так и генерации текста. Основные метрики:

• Precision/Recall/F1 для оценки качества поиска релевантных документов.
• ROUGE, BLEU для оценки качества сгенерированного текста по сравнению с эталонными ответами.
• Human Evaluation — оценка ответов экспертами по критериям релевантности, полноты и естественности.
• Latency и Throughput — для оценки производительности системы.

Решение о выкатке в прод принималось на основе баланса между качеством ответов (например, улучшение по ROUGE и F1), стабильностью работы и производительностью. Также учитывались отзывы пользователей и результаты A/B тестирования, где новая система сравнивалась с текущей. Если новая версия показывала статистически значимое улучшение по ключевым метрикам и не ухудшала UX, её выкатывали в прод.