Какви проблеми възникват, ако батч нормализацията актуализира статистиките по време на валидирането?

Ако нормализацията на партида (batch normalization) актуализира статистиките (средно и дисперсия) по време на валидирането, това ще доведе до неправилна оценка на параметрите на нормализация върху валидираните данни. В резултат:

• Моделът ще използва статистики, зависещи от текущата партида валидиране, което нарушава принципа на независимост на валидирането.
• Представянето при валидиране може да стане нестабилно и да не отразява реалната способност за обобщение на модела.
• Това може да доведе до преобучение, тъй като моделът се адаптира към конкретни партиди валидиране.

Затова по време на валидирането обикновено фиксират натрупаните статистики от обучението и не ги актуализират, за да се осигури коректна оценка на качеството на модела.