¿Qué métricas de monitoreo de modelos de ML en producción ha configurado?

Para monitorear modelos de ML en producción, generalmente se configuran las siguientes métricas:

• Precisión (Accuracy) — proporción de predicciones correctas.
• Precisión y Recall — especialmente importantes en clases desequilibradas.
• F1-score — media armónica de precisión y recall.
• ROC-AUC — calidad de clasificación en diferentes umbrales.
• Latencia — tiempo de respuesta del modelo.
• Throughput — número de solicitudes por unidad de tiempo.
• Detección de deriva — seguimiento de cambios en la distribución de datos de entrada o predicciones.
• Tasa de error — frecuencia de errores.

La configuración del monitoreo incluye la recopilación de estas métricas en tiempo real, alertas ante desviaciones y visualización para análisis. Por ejemplo, se puede usar Prometheus y Grafana para recopilar y mostrar métricas, así como herramientas para detectar deriva, como Evidently AI o scripts propios.