Aké problémy vzniknú, ak batch normalizácia aktualizuje štatistiky počas validácie?

Ak normalizácia dávky (batch normalization) aktualizuje štatistiky (priemer a rozptyl) počas validácie, povedie to k nesprávnemu odhadu parametrov normalizácie na validačných dátach. V dôsledku:

• Model bude používať štatistiky závislé od aktuálnej dávky validácie, čo porušuje princíp nezávislosti validačného súboru.
• Výkon na validácii môže byť nestabilný a nemusí odrážať skutočnú schopnosť modelu generalizovať.
• To môže viesť k preučeniu, pretože model sa prispôsobí špecifickým dávkam validácie.

Preto sa počas validácie zvyčajne fixujú štatistiky zozbierané počas tréningu a neaktualizujú sa, aby sa zabezpečila správna hodnotenie kvality modelu.