Gradient Descent, SGD und Mini-Batch SGD: Was sind die Unterschiede, Vor- und Nachteile?

Gradient Descent (GD) — ist eine Optimierungsmethode, bei der die Gradienten in der gesamten Trainingsmenge in einer Iteration berechnet werden.

• Vorteile: genaue Abwärtsrichtung, stabile Verringerung der Verlustfunktion.
• Nachteile: langsame Iterationen bei großen Datenmengen, hohe Rechenbelastung.

Stochastic Gradient Descent (SGD) — die Gradienten werden pro zufälligem Beispiel in jeder Iteration berechnet.

• Vorteile: schnelle Iterationen, weniger Speicher, kann durch Rauschen aus lokalen Minima entkommen.
• Nachteile: hohe Streuung der Gradienten, weniger stabiles Verhalten, erfordert sorgfältige Einstellung der Lernrate.

Mini-Batch SGD — Kompromiss zwischen GD und SGD, die Gradienten werden auf kleinen Untergruppen (Batches) berechnet.

• Vorteile: Balance zwischen Geschwindigkeit und Stabilität, effiziente Nutzung der Parallelisierung, Glättung des Rauschens.
• Nachteile: Die Wahl der Batch-Größe beeinflusst die Qualität und Geschwindigkeit des Lernens, erfordert Einstellung.

In der Praxis wird Mini-Batch SGD am häufigsten verwendet, da es die Vorteile beider Methoden kombiniert und gut skaliert.