Qu'est-ce que le décalage entre l'entraînement et le service et comment le détecter?

Le décalage entre entraînement et service (training-serving skew) est une situation où les données utilisées pour entraîner le modèle (données d'entraînement) diffèrent des données utilisées en production (données de service). Cela peut entraîner une dégradation de la qualité des prédictions.

Les causes du décalage peuvent varier : changement dans la distribution des données, prétraitements différents, erreurs dans le pipeline, incompatibilité des formats, etc.

Comment le détecter :

• Comparer les statistiques des caractéristiques (moyenne, variance, distribution) entre les données d'entraînement et de production.
• Utiliser des métriques de qualité du modèle sur les données de production (si des étiquettes sont disponibles).
• Mettre en place une surveillance des données et du modèle, pour détecter anomalies et dérives.
• Outils automatisés pour détecter les dérives (par exemple, test de Kolmogorov-Smirnov).

Exemple : si lors de l'entraînement, la caractéristique "âge" était dans la plage 18-65, et en production, des données avec des âges de 10 ou 90 commencent à arriver, cela peut causer un décalage.