Ce probleme apar dacă normalizarea pe loturi actualizează statisticile în timpul validării?

Dacă normalizarea pe loturi (batch normalization) actualizează statisticile (media și varianța) în timpul validării, acest lucru va duce la o evaluare incorectă a parametrilor de normalizare pe datele de validare. Ca rezultat:

• Modelul va utiliza statistici dependente de lotul de validare curent, ceea ce încalcă principiul independenței setului de validare.
• Performanța în timpul validării poate deveni instabilă și nu va reflecta adevărata capacitate de generalizare a modelului.
• Acest lucru poate duce la overfitting, deoarece modelul se adaptează la loturile specifice de validare.

De aceea, în timpul validării, de obicei, se fixează statisticile acumulate din antrenament și nu se actualizează, pentru a asigura o evaluare corectă a calității modelului.