Quais métricas de qualidade do agente você acompanha em produção?

Em produção, para avaliar a qualidade do agente (por exemplo, um agente LLM), normalmente monitorizam-se as seguintes métricas:

• Precisão (Accuracy) — quão bem as respostas do agente correspondem às esperadas.
• Tempo de resposta (Latency) — velocidade de geração da resposta.
• Taxa de falhas (Failure rate) — frequência de erros ou respostas incorretas.
• Indicadores de satisfação do utilizador (User satisfaction) — avaliações ou comentários dos utilizadores.
• Taxa de reconsulta (Re-query rate) — quantas vezes os utilizadores fazem a mesma pergunta devido a uma resposta insatisfatória.
• Cobertura (Coverage) — quão bem o agente cobre os tópicos ou tarefas necessárias.
• Utilização de recursos — carga nas capacidades computacionais.

Para agentes LLM, também é importante monitorizar:

• Diversificação de respostas — para evitar monotonia.
• Segurança e ética — ausência de conteúdo tóxico ou indesejado.

Estas métricas ajudam a manter a qualidade e a melhorar o funcionamento do agente em condições reais.