Какие метрики качества агента вы отслеживаете в проде?

В продакшене для оценки качества агента (например, LLM-агента) обычно отслеживают следующие метрики:

• Точность (Accuracy) — насколько ответы агента соответствуют ожидаемым.
• Время отклика (Latency) — скорость генерации ответа.
• Уровень отказов (Failure rate) — частота ошибок или некорректных ответов.
• Показатели пользовательского опыта (User satisfaction) — оценки или отзывы пользователей.
• Коэффициент повторных запросов (Re-query rate) — сколько раз пользователи повторно задают вопрос из-за неудовлетворительного ответа.
• Coverage — насколько агент покрывает необходимые темы или задачи.
• Использование ресурсов — нагрузка на вычислительные мощности.

Для LLM-агентов важно также отслеживать:

• Диверсификация ответов — чтобы избежать однообразия.
• Безопасность и этичность — отсутствие токсичного или нежелательного контента.

Эти метрики помогают поддерживать качество и улучшать работу агента в реальных условиях.