Gradient enişi, SGD və Mini-Batch SGD: hər birinin fərqləri, üstünlükləri və çatışmazlıqları nədir?

Gradient Descent (GD) — bu, optimallaşdırma metodudur və burada gradientlər bütün təlim nümunəsi üzrə bir dəfə hesablanır.

• Üstünlüklər: dəqiq aşağıya doğru istiqamət, itki funksiyasının stabilliklə azaldılması.
• Çatışmazlıqlar: böyük məlumatlar üçün yavaş iterasiyalar, yüksək hesablama yükü.

Stochastic Gradient Descent (SGD) — hər iterasiyada təsadüfi bir nümunə üzrə gradientlər hesablanır.

• Üstünlüklər: sürətli iterasiyalar, az yaddaş tələbi, səs-küy sayəsində lokal minimumlardan çıxa bilər.
• Çatışmazlıqlar: gradientlərin yüksək dispersiyası, daha az stabillik, öyrənmə sürətinin diqqətlə tənzimlənməsi tələb olunur.

Mini-Batch SGD — GD və SGD arasında kompromis, gradientlər kiçik alt qruplar (batchlər) üzrə hesablanır.

• Üstünlüklər: sürət və stabillik arasında balans, paralelləşdirmənin səmərəli istifadəsi, səs-küyün yumşaldılması.
• Çatışmazlıqlar: batch ölçüsünün seçimi öyrənmə keyfiyyətinə və sürətinə təsir edir, tənzimləmə tələb edir.

Praktikada, Mini-Batch SGD ən çox istifadə olunur, çünki hər iki metodun üstünlüklərini birləşdirir və yaxşı miqyaslana bilir.