Почему сеть с BatchNorm сходится быстрее?

Batch Normalization (BatchNorm) ускоряет сходимость нейронных сетей за счёт нормализации входов каждого слоя по мини-батчу. Это помогает стабилизировать распределение активаций и уменьшить проблему внутреннего ковариатного сдвига (internal covariate shift).

Основные причины, почему сеть с BatchNorm сходится быстрее:

• Стабилизация распределения активаций: нормализация входов слоя снижает изменения распределения данных, которые поступают на следующий слой, что облегчает обучение.
• Улучшение градиентов: нормализация помогает избежать затухающих или взрывающихся градиентов, делая оптимизацию более стабильной.
• Позволяет использовать большие learning rate: благодаря стабилизации процесса обучения можно применять более агрессивные параметры оптимизации.
• Некоторая регуляризация: BatchNorm оказывает эффект регуляризации, уменьшая переобучение.

В итоге BatchNorm делает процесс обучения более устойчивым и быстрым, что приводит к более быстрой сходимости сети.