Comment fonctionne le dropout lors de l'entraînement et de l'inférence?

Le dropout est une technique de régularisation des réseaux neuronaux qui désactive aléatoirement (met à zéro) une partie des neurones pendant l'entraînement pour prévenir le surapprentissage.

Pendant l'entraînement :

• Pour chaque exemple d'entrée, un pourcentage déterminé de neurones est désactivé aléatoirement (par exemple, 20-50%).
• Cela oblige le réseau à ne pas dépendre de neurones spécifiques et améliore sa capacité de généralisation.

Pendant l'inférence (prédiction) :

• Le dropout n'est pas appliqué, tous les neurones sont actifs.
• Pour compenser l'absence de désactivation des neurones, les poids sont mis à l'échelle (généralement multipliés par la probabilité d'activation du neurone), ou une mise à l'échelle est utilisée pendant l'entraînement (dropout inversé).

Ainsi, le dropout aide à rendre le modèle plus robuste et moins susceptible de surajuster, mais pendant l'inférence, le réseau fonctionne pleinement sans désactivations aléatoires.