Gradient Descent, SGD и Mini-Batch SGD: в чём различия, плюсы и минусы каждого?

Gradient Descent (GD) — это метод оптимизации, при котором градиенты считаются по всей обучающей выборке за одну итерацию.

• Плюсы: точное направление спуска, стабильное уменьшение функции потерь.
• Минусы: медленная итерация при больших данных, высокая вычислительная нагрузка.

Stochastic Gradient Descent (SGD) — градиенты считаются по одному случайному примеру за итерацию.

• Плюсы: быстрые итерации, меньше памяти, может выходить из локальных минимумов благодаря шуму.
• Минусы: высокая дисперсия градиентов, менее стабильное поведение, требует тщательной настройки скорости обучения.

Mini-Batch SGD — компромисс между GD и SGD, градиенты считаются по небольшим подвыборкам (батчам).

• Плюсы: баланс между скоростью и стабильностью, эффективное использование параллелизма, сглаживание шума.
• Минусы: выбор размера батча влияет на качество и скорость обучения, требует настройки.

В практике Mini-Batch SGD чаще всего используется, так как сочетает преимущества обоих методов и хорошо масштабируется.