¿Cómo funciona dropout durante el entrenamiento y la inferencia?

Dropout es una técnica de regularización de redes neuronales que apaga aleatoriamente (pone a cero) una parte de las neuronas durante el entrenamiento para prevenir el sobreajuste.

Durante el entrenamiento:

• Para cada ejemplo de entrada, se apaga un porcentaje determinado de neuronas (por ejemplo, 20-50%).
• Esto hace que la red no dependa de neuronas específicas y mejora su capacidad de generalización.

Durante la inferencia (predicción):

• Dropout no se aplica, todas las neuronas están activas.
• Para compensar la ausencia de apagado de neuronas, se escalan los pesos (generalmente se multiplican por la probabilidad de activación de la neurona), o se utiliza escalado durante el entrenamiento (dropout invertido).

De esta manera, dropout ayuda a que el modelo sea más robusto y menos propenso a sobreajustarse, pero durante la inferencia, la red funciona completamente sin apagados aleatorios.