Ποια προβλήματα προκύπτουν αν η κανονικοποίηση παρτίδας ενημερώνει τα στατιστικά κατά τη διάρκεια της επικύρωσης;

Αν η κανονικοποίηση παρτίδας (batch normalization) ενημερώνει τα στατιστικά (μέσο και διακύμανση) κατά τη διάρκεια της επικύρωσης, αυτό θα οδηγήσει σε λανθασμένη εκτίμηση των παραμέτρων κανονικοποίησης στα δεδομένα επικύρωσης. Ως αποτέλεσμα:

• Το μοντέλο θα χρησιμοποιεί στατιστικά που εξαρτώνται από την τρέχουσα παρτίδα επικύρωσης, παραβιάζοντας την αρχή της ανεξαρτησίας του συνόλου επικύρωσης.
• Η απόδοση στην επικύρωση μπορεί να γίνει ασταθής και να μην αντικατοπτρίζει την πραγματική ικανότητα γενίκευσης του μοντέλου.
• Αυτό μπορεί να οδηγήσει σε υπερεκπαίδευση, καθώς το μοντέλο προσαρμόζεται σε συγκεκριμένες παρτίδες επικύρωσης.

Γι' αυτό, κατά την επικύρωση, συνήθως σταθεροποιούνται τα συσσωρευμένα στατιστικά από την εκπαίδευση και δεν ενημερώνονται, για να διασφαλιστεί μια σωστή αξιολόγηση της ποιότητας του μοντέλου.