Jakie metryki jakości agenta śledzisz w produkcji?

W produkcji, aby ocenić jakość agenta (np. agenta LLM), zwykle monitoruje się następujące metryki:

• Dokładność (Accuracy) — jak bardzo odpowiedzi agenta odpowiadają oczekiwanym.
• Czas reakcji (Latency) — szybkość generowania odpowiedzi.
• Współczynnik awarii (Failure rate) — częstotliwość błędów lub niepoprawnych odpowiedzi.
• Wskaźniki satysfakcji użytkownika (User satisfaction) — oceny lub opinie użytkowników.
• Współczynnik ponownego zapytania (Re-query rate) — ile razy użytkownicy powtarzają pytanie z powodu niezadowalającej odpowiedzi.
• Pokrycie (Coverage) — jak dobrze agent obejmuje potrzebne tematy lub zadania.
• Wykorzystanie zasobów — obciążenie mocy obliczeniowej.

Dla agentów LLM ważne jest również monitorowanie:

• Dywersyfikacja odpowiedzi — aby uniknąć monotonii.
• Bezpieczeństwo i etyka — brak toksycznych lub niepożądanych treści.

Te metryki pomagają utrzymać jakość i poprawić działanie agenta w warunkach rzeczywistych.