Градиентен спуск, SGD и Mini-Batch SGD: какви са разликите, плюсовете и минусите на всеки?

Gradient Descent (GD) — това е метод за оптимизация, при който градиентите се изчисляват върху цялата обучаваща извадка за една итерация.

• Плюсове: точна посока на спускане, стабилно намаляване на функцията на загубите.
• Минуси: бавни итерации при големи данни, висока изчислителна натовареност.

Stochastic Gradient Descent (SGD) — градиентите се изчисляват върху един случаен пример за итерация.

• Плюсове: бързи итерации, по-малко памет, може да излезе от локални минимуми благодарение на шума.
• Минуси: висока дисперсия на градиентите, по-малка стабилност, изисква внимателна настройка на скоростта на обучение.

Mini-Batch SGD — компромис между GD и SGD, градиентите се изчисляват върху малки подмножества (батчове).

• Плюсове: баланс между скорост и стабилност, ефективно използване на паралелизма, изглаждане на шума.
• Минуси: изборът на размер на батча влияе върху качеството и скоростта на обучение, изисква настройка.

На практика, Mini-Batch SGD се използва най-често, тъй като съчетава предимствата и на двата метода и се мащабира добре.