¿Qué capas en las redes neuronales se comportan de manera diferente durante el entrenamiento y la inferencia (Dropout, BatchNorm, etc.)?

Algunas capas de las redes neuronales se comportan de manera diferente en las etapas de entrenamiento (train) y de inferencia (inference):

• Dropout: durante el entrenamiento, apaga aleatoriamente una parte de las neuronas para prevenir el sobreajuste, y durante la inferencia, todas las neuronas están activas, ajustando las salidas para compensar.
• Normalización por lotes (BatchNorm): durante el entrenamiento, normaliza las entradas de la capa según el lote actual, actualizando las estadísticas (media y varianza), y durante la inferencia, usa las estadísticas acumuladas para mayor estabilidad.

De esta manera, estas capas adaptan su comportamiento para garantizar un mejor entrenamiento y un funcionamiento correcto del modelo al hacer predicciones.