Kodėl tinklas su BatchNorm konverguoja greičiau?

Batch Normalization (BatchNorm) pagreitina neironių tinklų konvergenciją, normalizuodama kiekvieno sluoksnio įėjimus pagal mini-partiją. Tai padeda stabilizuoti aktyvacijų paskirstymą ir sumažinti vidinio kovariato poslinkio (internal covariate shift) problemą.

Pagrindiniai priežastys, kodėl tinklas su BatchNorm konverguoja greičiau:

• Aktyvacijų paskirstymo stabilizavimas: sluoksnio įėjimų normalizavimas sumažina duomenų paskirstymo pokyčius, kurie patenka į kitą sluoksnį, palengvindamas mokymą.
• Gradiento pagerinimas: normalizavimas padeda išvengti nykstančių ar sprogstančių gradientų, darant optimizaciją stabilesnę.
• Leidžia naudoti didesnius mokymosi greičius: dėka proceso stabilizavimo, galima taikyti agresyvesnius optimizavimo parametrus.
• Tam tikras reguliavimas: BatchNorm turi reguliavimo efektą, sumažindamas permokymą.

Apibendrinant, BatchNorm daro mokymosi procesą stabilesnį ir greitesnį, kas lemia greitesnę tinklo konvergenciją.