Какие были метрики оценки качества RAG-системы?

Для оценки качества RAG (Retrieval-Augmented Generation) систем обычно используют следующие метрики:

• Точность извлечения (Retrieval Accuracy): насколько релевантны документы, которые система извлекает для генерации ответа.
• Метрики качества генерации: такие как BLEU, ROUGE, METEOR, которые сравнивают сгенерированный текст с эталонными ответами.
• Human Evaluation: оценка качества ответов людьми по критериям релевантности, полноты и естественности.
• F1-score: для оценки совпадения ключевых слов или фактов между ответом и эталоном.
• Latency и Throughput: время отклика и пропускная способность системы, важны для практического использования.

Например, можно измерить, насколько часто сгенерированный ответ содержит информацию из релевантных документов, а также насколько он соответствует ожиданиям пользователя по содержанию и стилю.