Чем стохастический градиентный спуск отличается от классического?

Стохастический градиентный спуск (SGD) отличается от классического (обычного) градиентного спуска тем, как он обновляет параметры модели:

• Классический градиентный спуск вычисляет градиент функции потерь по всей обучающей выборке и затем обновляет параметры. Это обеспечивает точное направление спуска, но может быть очень медленным при больших данных.

• Стохастический градиентный спуск обновляет параметры на основе градиента, вычисленного для одного случайно выбранного примера (или небольшой мини-партии) из обучающей выборки. Это делает обновления более шумными и менее точными, но значительно ускоряет обучение и помогает выходить из локальных минимумов.

Пример:

# Классический градиентный спуск
for epoch in range(epochs):
    grad = compute_gradient(full_dataset)
    weights -= learning_rate * grad

# Стохастический градиентный спуск
for epoch in range(epochs):
    for sample in dataset:
        grad = compute_gradient(sample)
        weights -= learning_rate * grad

Таким образом, SGD быстрее и более подходит для больших данных, но требует настройки параметров и может колебаться вокруг минимума.