Welke problemen ontstaan er als batchnormalisatie tijdens de validatie de statistieken bijwerkt?

Als batchnormalisatie de statistieken (gemiddelde en variantie) tijdens de validatie bijwerkt, leidt dit tot een onjuiste beoordeling van de normalisatieparameters op de validatiegegevens. Als gevolg:

• Het model gebruikt statistieken die afhankelijk zijn van de huidige validatiebatch, wat het principe van onafhankelijkheid van de validatieset schendt.
• De prestaties tijdens validatie kunnen onstabiel worden en de werkelijke generalisatiecapaciteit van het model niet weerspiegelen.
• Dit kan leiden tot overfitting, omdat het model zich aanpast aan specifieke validatiebatches.

Daarom worden tijdens validatie meestal de tijdens training verzamelde statistieken vastgezet en niet bijgewerkt, om een correcte beoordeling van de modelkwaliteit te garanderen.