¿Qué métricas de calidad del agente rastrea en producción?

En producción, para evaluar la calidad del agente (por ejemplo, un agente LLM), generalmente se monitorean las siguientes métricas:

• Precisión (Accuracy) — qué tan bien las respuestas del agente coinciden con las esperadas.
• Tiempo de respuesta (Latency) — velocidad de generación de la respuesta.
• Tasa de fallos (Failure rate) — frecuencia de errores o respuestas incorrectas.
• Indicadores de experiencia del usuario (User satisfaction) — evaluaciones o comentarios de los usuarios.
• Tasa de reconsulta (Re-query rate) — cuántas veces los usuarios vuelven a hacer la misma pregunta debido a una respuesta insatisfactoria.
• Cobertura (Coverage) — qué tan bien el agente cubre los temas o tareas necesarios.
• Uso de recursos — carga en las capacidades computacionales.

Para los agentes LLM, también es importante monitorear:

• Diversificación de respuestas — para evitar la monotonía.
• Seguridad y ética — ausencia de contenido tóxico o no deseado.

Estas métricas ayudan a mantener la calidad y mejorar el funcionamiento del agente en condiciones reales.