Quali problemi si verificano se la normalizzazione batch aggiorna le statistiche durante la validazione?

Se la normalizzazione batch aggiorna le statistiche (media e varianza) durante la validazione, ciò porterà a una valutazione errata dei parametri di normalizzazione sui dati di validazione. Di conseguenza:

• Il modello utilizzerà statistiche dipendenti dal batch di validazione corrente, il che viola il principio di indipendenza del set di validazione.
• La performance in validazione può diventare instabile e non riflettere la reale capacità di generalizzazione del modello.
• Questo può portare a overfitting, poiché il modello si adatta a batch di validazione specifici.

Per questo motivo, durante la validazione di solito si fissano le statistiche accumulate dall’addestramento e non si aggiornano, per garantire una corretta valutazione della qualità del modello.