Quelles métriques de qualité de l'agent suivez-vous en production?

En production, pour évaluer la qualité de l'agent (par exemple, un agent LLM), on surveille généralement les métriques suivantes:

• Précision (Accuracy) — dans quelle mesure les réponses de l'agent correspondent aux attentes.
• Temps de réponse (Latency) — vitesse de génération de la réponse.
• Taux d'échec (Failure rate) — fréquence des erreurs ou réponses incorrectes.
• Indicateurs de satisfaction utilisateur (User satisfaction) — évaluations ou retours des utilisateurs.
• Taux de re-demande (Re-query rate) — combien de fois les utilisateurs posent à nouveau la question en raison d'une réponse insatisfaisante.
• Couverture (Coverage) — dans quelle mesure l'agent couvre les sujets ou tâches nécessaires.
• Utilisation des ressources — charge sur les capacités de calcul.

Pour les agents LLM, il est également important de suivre:

• Diversification des réponses — pour éviter la monotonie.
• Sécurité et éthique — absence de contenu toxique ou indésirable.

Ces métriques aident à maintenir la qualité et à améliorer le fonctionnement de l'agent en conditions réelles.