Gradientný zostup, SGD a Mini-Batch SGD: v čom sa líšia, aké sú výhody a nevýhody každého?

Gradient Descent (GD) — je metoda optimizácie, pri ktorej sa gradienty počítajú na celej trénovacej vzorke v jednej iterácii.

• Výhody: presný smer znižovania, stabilné znižovanie funkcie straty.
• Nevýhody: pomalé iterácie pri veľkých dátach, vysoké výpočtové zaťaženie.

Stochastic Gradient Descent (SGD) — gradienty sa počítajú na jednom náhodnom príklade za iteráciu.

• Výhody: rýchle iterácie, menej pamäti, môže uniknúť z lokálnych miním vďaka šumu.
• Nevýhody: vysoká rozptyl gradientov, menej stabilné správanie, vyžaduje starostlivé nastavenie rýchlosti učenia.

Mini-Batch SGD — kompromis medzi GD a SGD, gradienty sa počítajú na malých podmnožinách (batchoch).

• Výhody: rovnováha medzi rýchlosťou a stabilitou, efektívne využitie paralelizmu, vyhladzovanie šumu.
• Nevýhody: voľba veľkosti batchu ovplyvňuje kvalitu a rýchlosť učenia, vyžaduje nastavenie.

V praxi sa najčastejšie používa Mini-Batch SGD, pretože kombinuje výhody oboch metód a dobre škáluje.