Quais são os parâmetros treináveis no BatchNorm e para que servem?

No BatchNorm, há dois parâmetros treináveis:

1. Gama (γ) — um coeficiente de escala que é multiplicado pelos dados normalizados. Permite ao modelo regular a amplitude das ativações após a normalização.

2. Beta (β) — um deslocamento que é adicionado aos dados normalizados após a escala. Permite ao modelo deslocar a distribuição das ativações.

Estes parâmetros são necessários para que, após a normalização (que padroniza os dados com média zero e variância unitária), o modelo possa restaurar ou adaptar a distribuição das ativações, se necessário, para o treino e para aumentar a expressividade da rede.