¿Qué es la profundidad estocástica y por qué se usa en EfficientNet?

Stochastic Depth es una técnica de regularización utilizada en redes neuronales profundas, incluyendo EfficientNet. La idea consiste en omitir (desactivar) aleatoriamente algunas capas o bloques de la red durante el entrenamiento con cierta probabilidad.

¿Para qué sirve esto?

• Permite entrenar redes muy profundas, reduciendo el sobreajuste.
• Mejora la capacidad de generalización del modelo.
• Acelera el entrenamiento, ya que algunas capas no se calculan en cada paso.

En EfficientNet, stochastic depth se aplica a bloques residuales: en cada paso de entrenamiento, el bloque se omite (paso directo sin cambios) o se usa como de costumbre. Durante la inferencia, todos los bloques están activos.

Esto ayuda a que EfficientNet alcance alta calidad con menos parámetros y cálculos.

Se puede imaginar así:

if training:
    if random() < drop_prob:
        # omitir el bloque
        output = input
    else:
        output = block(input)
else:
    output = block(input)

De esta forma, stochastic depth es una forma de hacer el entrenamiento más robusto y eficiente.