Használják a batch statisztikákat vagy a mentett paramétereket a batch-normalizációban az inferenciánál?

Az inferencia (előrejelzés) során a batch-normalizálásban a tárolt paramétereket használják – az átlagos statisztikákat (átlag és szórás), amelyeket a modell tanítása során gyűjtöttek össze, nem pedig a jelenlegi batch statisztikáit.

Ez azért van, mert az inferencia során a modell általában egy vagy néhány példát dolgoz fel, és az ilyen kicsi batch-ek statisztikái instabilak lehetnek, és nem tükrözik az adatok általános képét.

Ezért:

• Tanítás közben a batch statisztikákat a normalizáláshoz és a globális paraméterek frissítéséhez használják.
• Inferencia közben a tárolt mozgó átlagot és szórást alkalmazzák a bemeneti adatok normalizálására.

Ez biztosítja a modell stabilitását és konzisztenciáját új adatokon.