Jakie problemy występują, jeśli normalizacja partii aktualizuje statystyki podczas walidacji?

Jeśli normalizacja partii (batch normalization) aktualizuje statystyki (średnią i wariancję) podczas walidacji, doprowadzi to do nieprawidłowej oceny parametrów normalizacji na danych walidacyjnych. W rezultacie:

• Model będzie korzystał ze statystyk zależnych od aktualnej partii walidacyjnej, co narusza zasadę niezależności zbioru walidacyjnego.
• Wydajność na walidacji może stać się niestabilna i nie odzwierciedlać rzeczywistej zdolności generalizacji modelu.
• Może to prowadzić do nadmiernego dopasowania, ponieważ model dostosowuje się do konkretnych partii walidacyjnych.

Dlatego podczas walidacji zazwyczaj zamraża się zgromadzone statystyki z treningu i nie aktualizuje ich, aby zapewnić poprawną ocenę jakości modelu.