Gradient tushirish, SGD va Mini-Batch SGD: har birining farqlari, afzalliklari va kamchiliklari nima?

Gradient Descent (GD) — bu, optimallashtirish usuli bo'lib, unda gradientlar barcha o'quv to'plamida bir marta hisoblanadi.

• Afzalliklar: aniq tushish yo'nalishi, barqaror yo'qotish funksiyasining kamayishi.
• Kamchiliklar: katta ma'lumotlar bilan sekin iteratsiyalar, yuqori hisoblash yuklamasi.

Stochastic Gradient Descent (SGD) — har iteratsiyada tasodifiy bir misol bo'yicha gradientlar hisoblanadi.

• Afzalliklar: tez iteratsiyalar, kamroq xotira, shovqin yordamida mahalliy minimaldan chiqib ketishi mumkin.
• Kamchiliklar: gradientlarning yuqori dispersiyasi, kamroq barqaror xatti-harakat, o'rganish tezligini ehtiyotkorlik bilan sozlashni talab qiladi.

Mini-Batch SGD — GD va SGD o'rtasidagi kompromiss, gradientlar kichik bo'laklar (batchlar) bo'yicha hisoblanadi.

• Afzalliklar: tezlik va barqarorlik o'rtasida muvozanat, parallel ishlatish samaradorligi, shovqinni silliqlash.
• Kamchiliklar: batch hajmini tanlash sifat va o'qitish tezligiga ta'sir qiladi, sozlashni talab qiladi.

Amalda, Mini-Batch SGD ko'pincha ishlatiladi, chunki u ikkala usulning afzalliklarini birlashtiradi va yaxshi miqyoslashadi.