Кои обучаеми параметри има в BatchNorm и за какво служат?

В BatchNorm има два обучаеми параметъра:

1. Гама (γ) — коефициент на мащабиране, който се умножава по нормализираните данни. Позволява на модела да регулира амплитудата на активиранията след нормализация.

2. Бета (β) — изместване, което се добавя към нормализираните данни след мащабиране. Позволява на модела да променя разпределението на активиранията.

Тези параметри са необходими, за да може моделът след нормализация (която стандартизира данните с нулево средно и единична дисперсия) да възстанови или адаптира разпределението на активиранията, ако това е необходимо за обучение и повишаване на изразителността на мрежата.