Qu'est-ce que la profondeur stochastique et pourquoi est-elle utilisée dans EfficientNet?

Stochastic Depth est une technique de régularisation utilisée dans les réseaux neuronaux profonds, y compris dans EfficientNet. L'idée consiste à sauter (désactiver) aléatoirement certains couches ou blocs du réseau pendant l'entraînement avec une certaine probabilité.

À quoi cela sert-il ?

• Permet d'entraîner des réseaux très profonds, en réduisant le surapprentissage.
• Améliore la capacité de généralisation du modèle.
• Accélère l'apprentissage, car certaines couches ne sont pas calculées à chaque étape.

Dans EfficientNet, le stochastic depth est appliqué aux blocs résiduels : à chaque étape d'entraînement, le bloc est soit sauté (passage direct sans modification), soit utilisé normalement. Lors de l'inférence, tous les blocs sont actifs.

Cela aide EfficientNet à atteindre une haute qualité avec moins de paramètres et de calculs.

On peut l'imaginer ainsi :

if training:
    if random() < drop_prob:
        # sauter le bloc
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Ainsi, stochastic depth est une méthode pour rendre l'apprentissage plus robuste et efficace.