Miks BatchNorm-iga võrk konvergeerub kiiremini?

Kogumnormaliseerimine (BatchNorm) kiirendab närvivõrkude kokkuleppimist, normaliseerides iga kihi sisendeid mini-partii kaupa. See aitab stabiliseerida aktiveerimiste jaotust ning vähendada sisemise kovariatsiooni nihke (internal covariate shift) probleemi.

Peamised põhjused, miks BatchNorm-iga võrk konvergeerub kiiremini:

• Aktiveerimiste jaotuse stabiliseerimine: kihi sisendite normaliseerimine vähendab andmete jaotuse muutusi, mis jõuavad järgmisse kihti, muutes õppimise lihtsamaks.
• Gradientide parandamine: normaliseerimine aitab vältida kaduma või plahvatavaid gradientide probleeme, muutes optimeerimise stabiilsemaks.
• Võimaldab kasutada suuremaid õppimiskiiruseid: tänu protsessi stabiliseerimisele saab kasutada agressiivsemaid optimeerimisparameetreid.
• Mõningane regulatsioon: BatchNormil on regulatsiooniefekt, vähendades üleõppimist.

Kokkuvõttes muudab BatchNorm õppimisprotsessi stabiilsemaks ja kiiremaks, mis viib kiirema võrgukokkuleppimiseni.