Quelles métriques utiliser pour évaluer un nouveau modèle lors de son déploiement dans un groupe pilote?

Lors du déploiement d’un nouveau modèle dans un groupe pilote, il est important d’utiliser des métriques qui reflètent à la fois la qualité du modèle et son impact sur l’entreprise et les utilisateurs. Les principales catégories de métriques :

• Qualité du modèle :

  • Pour la classification : précision (accuracy), rappel, précision (precision), score F1, ROC-AUC.
  • Pour la régression : erreur absolue moyenne (MAE), erreur quadratique moyenne (MSE), R².

• Métriques d’impact commercial :

  • Taux de conversion, rétention des utilisateurs, revenus, engagement — selon la tâche.

• Métriques de stabilité et de fiabilité :

  • Drift des données, stabilité des prédictions dans le temps.

• Métriques d’expérience utilisateur :

  • Temps de réponse, erreurs dans l’application.

Pour les tests pilotes, on utilise souvent des tests A/B, en comparant les métriques du nouveau modèle avec celles de l’actuel. Il est important de suivre non seulement l’amélioration de la qualité des prédictions, mais aussi leur impact sur les indicateurs finaux de l’entreprise et l’expérience utilisateur.