Quelles métriques de surveillance des modèles ML en production avez-vous configurées?

Pour la surveillance des modèles ML en production, on configure généralement les métriques suivantes:

• Précision (Accuracy) — proportion de prédictions correctes.
• Précision et Rappel — particulièrement importants en cas de classes déséquilibrées.
• F1-score — moyenne harmonique de la précision et du rappel.
• ROC-AUC — qualité de la classification à différents seuils.
• Latence — temps de réponse du modèle.
• Throughput — nombre de requêtes par unité de temps.
• Détection de dérive — suivi des changements dans la distribution des données d'entrée ou des prédictions.
• Taux d'erreur — fréquence des erreurs.

La configuration de la surveillance inclut la collecte de ces métriques en temps réel, des alertes en cas de déviation et une visualisation pour l'analyse. Par exemple, on peut utiliser Prometheus et Grafana pour collecter et afficher les métriques, ainsi que des outils pour détecter la dérive, comme Evidently AI ou des scripts personnalisés.