Miért konvergál gyorsabban a BatchNorm-os hálózat?

A Batch Normalization (BatchNorm) gyorsítja a mélytanuló hálózatok konvergenciáját azzal, hogy minden réteg bemeneteit mini-batch szerint normalizálja. Ez segít stabilizálni az aktivációk eloszlását és csökkenti a belső kovariát shift (internal covariate shift) problémáját.

Azok a fő okok, amiért a BatchNorm-ot használó hálózat gyorsabban konvergál:

• Az aktivációk eloszlásának stabilizálása: a réteg bemeneteinek normalizálása csökkenti az adatok eloszlásában bekövetkező változásokat, ezáltal megkönnyítve a tanulást.
• Gradiens javítása: a normalizálás segít elkerülni a eltűnő vagy robbanó gradiens problémákat, így stabilabbá téve az optimalizációt.
• Nagyobb tanulási ráta alkalmazása: a tanulási folyamat stabilizálásának köszönhetően agresszívabb optimalizációs paraméterek is alkalmazhatók.
• Valamiféle regularizáció: a BatchNorm hatással van a regularizációra, csökkentve a túltanulást.

Összefoglalva, a BatchNorm stabilabbá és gyorsabbá teszi a tanulási folyamatot, ami gyorsabb konvergenciához vezet.