Защо мрежата с BatchNorm се сближава по-бързо?

Batch Normalization (BatchNorm) ускорява сходимостта на невронните мрежи чрез нормализиране на входовете на всеки слой по мини-батч. Това помага за стабилизиране на разпределението на активиранията и намалява проблема с вътрешния ковариатен сдвиг (internal covariate shift).

Основните причини, поради които мрежа с BatchNorm се сближава по-бързо:

• Стабилизиране на разпределението на активиранията: нормализирането на входовете на слоя намалява промените в разпределението на данните, които постъпват в следващия слой, улеснявайки обучението.
• Подобряване на градиентите: нормализирането помага да се избегнат изчезващи или експлодиращи градиенти, правейки оптимизацията по-стабилна.
• Позволява използването на по-големи скорости на обучение: благодарение на стабилизирането на процеса на обучение, могат да се прилагат по-агресивни параметри.
• Някаква регуларизация: BatchNorm оказва ефект на регуларизация, намалявайки пренасищането.

Обобщено, BatchNorm прави процеса на обучение по-стабилен и по-бърз, което води до по-бърза сходимост на мрежата.