Por que a rede com BatchNorm converge mais rápido?

A normalização por lotes (BatchNorm) acelera a convergência de redes neurais através da normalização das entradas de cada camada por mini-lote. Isso ajuda a estabilizar a distribuição das ativações e a reduzir o problema do deslocamento interno da covariância.

As principais razões pelas quais uma rede com BatchNorm converge mais rapidamente:

• Estabilização da distribuição das ativações: a normalização das entradas da camada reduz as mudanças na distribuição dos dados que chegam à próxima camada, facilitando o treinamento.
• Melhoria dos gradientes: a normalização ajuda a evitar gradientes que desaparecem ou explodem, tornando a otimização mais estável.
• Permite usar taxas de aprendizagem maiores: graças à estabilização do processo de treinamento, podem ser aplicados parâmetros de otimização mais agressivos.
• Alguma regularização: BatchNorm tem um efeito de regularização, reduzindo o sobreajuste.

Resumindo, o BatchNorm torna o processo de treinamento mais estável e rápido, levando a uma convergência mais rápida da rede.