Gradient Descent, SGD en Mini-Batch SGD: wat zijn de verschillen, pluspunten en minpunten van elk?

Gradient Descent (GD) — is een optimalisatiemethode waarbij de gradiënten over de hele trainingsset in één iteratie worden berekend.

• Voordelen: nauwkeurige afwaartse richting, stabiele vermindering van de verliesfunctie.
• Nadelen: trage iteraties bij grote datasets, hoge computationele belasting.

Stochastic Gradient Descent (SGD) — de gradiënten worden per willekeurig voorbeeld per iteratie berekend.

• Voordelen: snelle iteraties, minder geheugen, kan uit lokale minima ontsnappen dankzij ruis.
• Nadelen: hoge dispersie van de gradiënten, minder stabiel gedrag, vereist zorgvuldige afstelling van de leersnelheid.

Mini-Batch SGD — compromis tussen GD en SGD, de gradiënten worden berekend op kleine subsets (batches).

• Voordelen: balans tussen snelheid en stabiliteit, efficiënt gebruik van parallelisme, gladstrijken van ruis.
• Nadelen: de keuze van batchgrootte beïnvloedt de kwaliteit en snelheid van leren, vereist afstemming.

In de praktijk wordt Mini-Batch SGD het meest gebruikt, omdat het de voordelen van beide methoden combineert en goed schaalt.