Gradiensekció, SGD és Mini-Batch SGD: miben különböznek, előnyeik és hátrányaik?

Gradient Descent (GD) — ez egy optimalizációs módszer, amely során a gradiens értékeket az egész tanulási mintán egy iterációban számítják ki.

• Előnyök: pontos irány a lejtőn, stabil veszteségcsökkenés.
• Hátrányok: lassú iterációk nagy adathalmazoknál, magas számítási igény.

Stochastic Gradient Descent (SGD) — minden iterációban egy véletlenszerű példán alapuló gradiens számítás történik.

• Előnyök: gyors iterációk, kevesebb memória, zaj segítségével kijuthat a helyi minimumokból.
• Hátrányok: magas gradiens szórás, kevésbé stabil viselkedés, gondos tanulási ráta beállítást igényel.

Mini-Batch SGD — kompromisszum a GD és az SGD között, kis részhalmazokon (batch-eken) számítják ki a gradiens értékeket.

• Előnyök: egyensúly a sebesség és a stabilitás között, hatékony párhuzamosítás, zaj simítása.
• Hátrányok: a batch méretének kiválasztása befolyásolja a tanulás minőségét és sebességét, beállítást igényel.

Gyakorlatban a Mini-Batch SGD a leggyakrabban használt, mivel ötvözi mindkét módszer előnyeit és jól skálázható.