Jaké problémy vznikají, pokud batch normalizace aktualizuje statistiky během validace?

Pokud batch normalization aktualizuje statistiky (průměr a rozptyl) během validace, povede to k nesprávnému odhadu normalizačních parametrů na validačních datech. V důsledku:

• Model bude používat statistiky závislé na aktuálním validačním batchi, což porušuje princip nezávislosti validačního souboru.
• Výkon na validaci může být nestabilní a nemusí odrážet skutečnou schopnost generalizace modelu.
• To může vést k přeučení, protože model se přizpůsobí specifickým validačním batchům.

Proto se během validace obvykle fixují statistiky shromážděné během tréninku a neaktualizují se, aby byla zajištěna správná hodnocení kvality modelu.