Parlez-moi de Dropout : comment il fonctionne pendant l'entraînement et ce qui se passe avec lui lors de l'inférence ?

Dropout est une technique de régularisation des réseaux neuronaux qui aide à éviter le surapprentissage. Pendant l'entraînement, une partie des neurones est "éteinte" aléatoirement (annulée) avec une probabilité donnée (par exemple, 0,5), ce qui oblige le réseau à ne pas dépendre trop fortement de caractéristiques individuelles et améliore la capacité de généralisation.

Pendant l'inférence (application du modèle), Dropout est désactivé et tous les neurones sont utilisés. Pour compenser l'effet de l'annulation pendant l'entraînement, les poids des neurones sont mis à l'échelle (généralement multipliés par la probabilité de conserver le neurone) afin de maintenir la valeur attendue des activations.

Ainsi, Dropout fonctionne comme une méthode de "coupe" aléatoire du réseau pendant l'entraînement, et lors de l'inférence, le modèle fonctionne pleinement en utilisant tous les neurones.