Kuo skiriasi stochastinis gradiento nusileidimas nuo klasikinio?

Sąstochinis gradientų mažinimas (SGD) skiriasi nuo klasikinio (įprasto) gradientų mažinimo tuo, kaip jis atnaujina modelio parametrus:

• Klasikinis gradientų mažinimas apskaičiuoja nuostolio funkcijos gradientą visame mokymo rinkinyje ir tada atnaujina parametrus. Tai užtikrina tikslią nusileidimo kryptį, tačiau gali būti labai lėtas su dideliais duomenų rinkiniais.

• Sąstochinis gradientų mažinimas atnaujina parametrus remiantis gradientu, apskaičiuotu atsitiktinai pasirinktam pavyzdžiui (arba mažam mini-partijos) iš mokymo rinkinio. Tai daro atnaujinimus triukšmingesnius ir mažiau tikslius, tačiau žymiai pagreitina mokymąsi ir padeda išeiti iš vietinių minimumų.

Pavyzdys:

# Klasikinis gradientų mažinimas
for epoch in range(epochs):
    grad = compute_gradient(full_dataset)
    weights -= learning_rate * grad

# Sąstochinis gradientų mažinimas
for epoch in range(epochs):
    for sample in dataset:
        grad = compute_gradient(sample)
        weights -= learning_rate * grad

Todėl SGD yra greitesnis ir tinkamesnis dideliems duomenų rinkiniams, tačiau reikalauja parametrų reguliavimo ir gali svyruoti apie minimumą.