Welche Probleme treten auf, wenn Batch-Normalisierung die Statistik während der Validierung aktualisiert?

Wenn Batch-Normalisierung die Statistik (Mittelwert und Varianz) während der Validierung aktualisiert, führt dies zu einer falschen Schätzung der Normalisierungsparameter auf den Validierungsdaten. Folgende Konsequenzen ergeben sich:

• Das Modell verwendet Statistiken, die vom aktuellen Validierungsbatch abhängen, was das Prinzip der Unabhängigkeit des Validierungssets verletzt.
• Die Leistung bei der Validierung kann instabil werden und die tatsächliche Generalisierungsfähigkeit des Modells nicht widerspiegeln.
• Dies kann zu Overfitting führen, da sich das Modell an bestimmte Validierungsbatches anpasst.

Daher werden während der Validierung in der Regel die während des Trainings gesammelten Statistiken fixiert und nicht aktualisiert, um eine korrekte Bewertung der Modellqualität zu gewährleisten.