Quels problèmes surviennent si la normalisation par lot met à jour les statistiques pendant la validation?

Si la normalisation par lot (batch normalization) met à jour les statistiques (moyenne et variance) pendant la validation, cela conduira à une évaluation incorrecte des paramètres de normalisation sur les données de validation. En conséquence :

• Le modèle utilisera des statistiques dépendant du lot de validation actuel, ce qui viole le principe d’indépendance du jeu de validation.
• La performance lors de la validation peut devenir instable et ne pas refléter la véritable capacité de généralisation du modèle.
• Cela peut conduire à un surapprentissage, car le modèle s’adapte à des lots spécifiques de validation.

C’est pourquoi, lors de la validation, on fixe généralement les statistiques accumulées lors de l’entraînement et on ne les met pas à jour, afin d’assurer une évaluation correcte de la qualité du modèle.