Quelles couches dans les réseaux neuronaux se comportent différemment lors de l'entraînement et de l'inférence (Dropout, BatchNorm, etc.)?

Certaines couches des réseaux neuronaux se comportent différemment lors des phases d'apprentissage (train) et d'inférence (inference) :

• Dropout : pendant l'apprentissage, désactive aléatoirement une partie des neurones pour éviter le surapprentissage, et lors de l'inférence, tous les neurones sont actifs, avec une mise à l'échelle des sorties pour compenser.
• Normalisation par lot (BatchNorm) : pendant l'apprentissage, normalise les entrées de la couche selon le lot actuel, en mettant à jour les statistiques (moyenne et variance), et lors de l'inférence, utilise les statistiques accumulées pour plus de stabilité.

Ainsi, ces couches adaptent leur comportement pour assurer une meilleure formation et un fonctionnement correct du modèle lors de la prédiction.