Какие обучаемые параметры есть в BatchNorm и для чего они нужны?

В BatchNorm есть два обучаемых параметра:

1. Гамма (γ) — масштабный коэффициент, который умножается на нормализованные данные. Позволяет модели регулировать амплитуду активаций после нормализации.

2. Бета (β) — сдвиг, который добавляется к нормализованным данным после масштабирования. Позволяет модели сдвигать распределение активаций.

Эти параметры нужны, чтобы после нормализации (которая стандартизирует данные с нулевым средним и единичной дисперсией) модель могла восстановить или адаптировать распределение активаций, если это необходимо для обучения и повышения выразительности сети.