Gradient Descent, SGD ve Mini-Batch SGD: farklar, avantajlar ve dezavantajlar nelerdir?

Gradient Descent (GD) — bu, eğitim verisinin tamamı üzerinde gradyanların bir seferde hesaplandığı bir optimizasyon yöntemidir.

• Artıları: doğru iniş yönü, kayıp fonksiyonunun istikrarlı azalması.
• Eksileri: büyük veri setlerinde yavaş iterasyonlar, yüksek hesaplama yükü.

Stochastic Gradient Descent (SGD) — her iterasyonda rastgele bir örnek üzerinden gradyanlar hesaplanır.

• Artıları: hızlı iterasyonlar, daha az bellek kullanımı, gürültü sayesinde yerel minimumlardan çıkabilir.
• Eksileri: yüksek gradyan dispersiyonu, daha az istikrarlı davranış, öğrenme hızının dikkatli ayarlanması gerekir.

Mini-Batch SGD — GD ile SGD arasında bir uzlaşma, gradyanlar küçük alt kümeler (batchler) üzerinde hesaplanır.

• Artıları: hız ve istikrar arasında denge, paralel kullanım verimliliği, gürültüyü yatıştırma.
• Eksileri: batch boyutunun seçimi, öğrenme kalitesi ve hızını etkiler, ayar gerektirir.

Pratikte, Mini-Batch SGD en sık kullanılan yöntemdir, çünkü her iki yöntemin avantajlarını birleştirir ve iyi ölçeklenir.