Използват ли се статистики от батча или запазени параметри в батч-нормализацията при инференса?

По време на inference (предсказване), при нормализирането на партида се използват запазените параметри: средни статистики (средно и дисперсия), натрупани по време на обучението на модела, а не статистиките на текущата партида.

Това се дължи на факта, че по време на inference моделът обикновено обработва един или няколко примера, и статистиките на такива малки партиди могат да бъдат нестабилни и да не отразяват цялостната картина на данните.

Затова:

• По време на обучение статистиките на партидата се използват за нормализиране и актуализиране на глобалните параметри.
• По време на inference се прилага запазеното подвижно средно и дисперсия за нормализиране на входните данни.

Това осигурява стабилност и съгласуваност на работата на модела върху нови данни.