Расскажите про градиентный спуск: как он работает и какие есть его модификации (SGD, Momentum, Adam)?

Градиентный спуск — это алгоритм оптимизации, который используется для минимизации функции потерь в задачах машинного обучения. Он работает, итеративно обновляя параметры модели в направлении отрицательного градиента функции потерь, чтобы найти минимум.

Основные модификации:

• SGD (Stochastic Gradient Descent): обновляет параметры на основе градиента, вычисленного для одного случайного примера или небольшой партии данных (батча). Это ускоряет обучение и помогает выходить из локальных минимумов, но делает процесс более шумным.

• Momentum: добавляет к обновлению параметров накопленное значение предыдущих обновлений, что позволяет ускорить сходимость и сгладить колебания.

• Adam (Adaptive Moment Estimation): сочетает идеи Momentum и адаптивного изменения шага обучения для каждого параметра. Использует скользящие средние первого и второго моментов градиента, что делает обучение более стабильным и эффективным.

Пример обновления параметра в SGD:

w = w - learning_rate * gradient

В Momentum добавляется накопленная скорость:

v = beta * v + (1 - beta) * gradient
w = w - learning_rate * v

Adam использует более сложные формулы для адаптивного шага.