რატომ იკავებს ქსელი BatchNorm-თან უფრო სწრაფად?

Batch Normalization (BatchNorm) neyron şəbəkələrinin yaxınlaşmasını sürətləndirir, hər bir qatlamın girişlərini mini-batch üzrə normallaşdırmaqla. Bu, aktivasiya paylanmasını stabilləşdirməyə və daxili kovariant kayma (internal covariate shift) problemini azaltmağa kömək edir.

BatchNorm ilə işləyən şəbəkənin daha sürətli yaxınlaşmasının əsas səbəbləri:

• Aktivasiya paylanmasının stabilləşdirilməsi: qatlam girişlərinin normallaşdırılması, növbəti qatmağa gələn məlumatların paylanmasındakı dəyişiklikləri azaldır və təlimi asanlaşdırır.
• Gradientlərin yaxşılaşdırılması: normallaşdırma, yox olan və ya partlayan gradientlərin qarşısını alır və optimallaşdırmanı stabilləşdirir.
• Daha böyük öyrənmə nisbətlərinin istifadə olunmasına imkan verir: təlim prosesinin stabilləşdirilməsi sayəsində, daha aqressiv optimallaşdırma parametrləri tətbiq oluna bilər.
• Bir az tənzimləmə təsiri: BatchNorm tənzimləmə effektinə malikdir və aşırı öyrənməni azaldır.

Nəticədə, BatchNorm təlim prosesini daha stabilləşdirir və daha sürətli edir, bu da şəbəkənin daha sürətli yaxınlaşmasına səbəb olur.