Koji problemi nastaju ako normalizacija serije ažurira statistike tokom validacije?

Ako normalizacija serije (batch normalization) ažurira statistike (srednju vrednost i dispersiju) tokom validacije, to će dovesti do netačne procene parametara normalizacije na validacionim podacima. Kao rezultat:

• Model će koristiti statistike koje zavise od trenutne serije validacije, što krši princip nezavisnosti validacionog skupa.
• Performanse tokom validacije mogu postati nestabilne i ne odražavaju pravu sposobnost modela da generalizuje.
• Ovo može dovesti do prekomernog prilagođavanja, jer se model prilagođava specifičnim serijama validacije.

Zato se tokom validacije obično fiksiraju statistike prikupljene tokom obuke i ne ažuriraju se, kako bi se obezbedila tačna procena kvaliteta modela.