Millised probleemid tekivad, kui partii normaliseerimine uuendab statistikat valideerimise ajal?

Kui batch normalization uuendab statistikat (keskmist ja dispersiooni) valideerimise ajal, viib see valiidatsioonandmetel normaliseerimisparameetrite ebaõige hindamiseni. Selle tulemusena:

• Mudel kasutab statistikat, mis sõltub praegusest valideerimisbatšist, mis rikub valideerimiskogumi sõltumatuse põhimõtet.
• Valideerimise tulemus võib muutuda ebastabiilseks ja mitte peegeldada mudeli tõelist üldistamisvõimet.
• See võib viia üleõppimiseni, kuna mudel kohandub konkreetsete valideerimisbatšidega.

Seetõttu fikseerivad tavaliselt valideerimise ajal treeningu ajal kogutud statistika ja neid ei uuendata, et tagada mudeli kvaliteedi õige hindamine.