Comment fonctionne le dropout dans les réseaux neuronaux?

Le dropout est une technique de régularisation dans les réseaux neuronaux qui aide à prévenir le surapprentissage. Pendant l'entraînement, une partie des neurones est "désactivée" aléatoirement (mise à zéro) avec une probabilité donnée (par exemple, 0,5). Cela oblige le réseau à ne pas dépendre trop fortement de neurones individuels et à apprendre des caractéristiques plus robustes.

Comment cela fonctionne :

• À chaque étape d'entraînement, pour chaque neurone, avec une probabilité p, sa sortie est remplacée par 0.
• En conséquence, le réseau devient comme un ensemble de plusieurs sous-modèles.
• Lors du test, le dropout n'est pas appliqué, mais les poids des neurones sont mis à l'échelle pour compenser la désactivation pendant l'entraînement.

Exemple en pseudocode :

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Cela aide à améliorer la capacité de généralisation du modèle.