Que métricas de monitorização de modelos de ML em produção configurou?

Para monitorizar modelos de ML em produção, normalmente configuram-se as seguintes métricas:

• Precisão (Accuracy) — proporção de previsões corretas.
• Precisão e Recall — especialmente importantes em classes desequilibradas.
• F1-score — média harmônica de precisão e recall.
• ROC-AUC — qualidade da classificação em diferentes limiares.
• Latência — tempo de resposta do modelo.
• Throughput — número de solicitações por unidade de tempo.
• Detecção de deriva — acompanhamento de mudanças na distribuição dos dados de entrada ou previsões.
• Taxa de erro — frequência de erros.

A configuração do monitoramento inclui a coleta dessas métricas em tempo real, alertas em caso de desvios e visualização para análise. Por exemplo, pode-se usar Prometheus e Grafana para coletar e exibir métricas, bem como ferramentas para detectar deriva, como Evidently AI ou scripts próprios.