Milyen problémák merülnek fel, ha a batch normalizálás frissíti a statisztikákat az érvényesítés során?

Ha a batch normalization az értékeket (átlag és szórás) a validáció során frissíti, az helytelen értékeléshez vezet a validációs adatok normalizálási paramétereiben. Ennek eredményeként:

• A modell a jelenlegi validációs batch-től függő statisztikákat fog használni, ami sérti a validációs készlet függetlenségének elvét.
• A validációs teljesítmény instabillá válhat, és nem tükrözi a modell valódi általánosítási képességét.
• Ez túlillesztéshez vezethet, mivel a modell alkalmazkodik a specifikus validációs batch-ekhez.

Ezért a validáció során általában rögzítik a tanulás során gyűjtött statisztikákat, és nem frissítik azokat, hogy biztosítsák a modell minőségének helyes értékelését.