¿Cómo funciona la caída en redes neuronales?

El abandono (dropout) es una técnica de regularización en redes neuronales que ayuda a prevenir el sobreajuste. Durante el entrenamiento, una parte de las neuronas se "apaga" aleatoriamente (se anula) con una probabilidad dada (por ejemplo, 0.5). Esto hace que la red no dependa demasiado de neuronas individuales y aprenda características más robustas.

Cómo funciona:

• En cada paso de entrenamiento, para cada neurona, con probabilidad p, su salida se reemplaza por 0.
• Como resultado, la red se convierte en un conjunto de diferentes submodelos.
• Durante la prueba, no se aplica dropout y los pesos de las neuronas se escalan para compensar la desconexión durante el entrenamiento.

Ejemplo en pseudocódigo:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Esto ayuda a mejorar la capacidad de generalización del modelo.