Prečo sa sieť s BatchNorm rýchlejšie konverguje?

Normalizácia dávky (BatchNorm) urýchľuje konvergenciu neurónových sietí normalizáciou vstupov každej vrstvy podľa mini-dávky. To pomáha stabilizovať rozdelenie aktivácií a znižuje problém vnútorného posunu kovariátov (internal covariate shift).

Hlavné dôvody, prečo sa sieť s BatchNorm rýchlejšie približuje:

• Stabilizácia rozdelenia aktivácií: normalizácia vstupov vrstvy znižuje zmeny v rozdelení dát, ktoré prichádzajú do ďalšej vrstvy, čo uľahčuje učenie.
• Zlepšenie gradientov: normalizácia pomáha zabrániť miznúcim alebo explodujúcim gradientom, čím robí optimalizáciu stabilnejšou.
• Umožňuje použitie väčších rýchlostí učenia: vďaka stabilizácii procesu učenia je možné použiť agresívnejšie parametre optimalizácie.
• Istá regulácia: BatchNorm má regulačný efekt, znižuje preučenie.

Celkovo BatchNorm robí proces učenia stabilnejším a rýchlejším, čo vedie k rýchlejšej konvergencii siete.