Stoxastik gradient tushirish bilan klassik tushirish o'rtasidagi farq nima?

Stokastik gradient tushishi (SGD) klassik (oddiy) gradient tushishidan farq qiladi, model parametrlarini qanday yangilashda:

• Klassik gradient tushishi yo'qotish funktsiyasining gradientini butun trening ma'lumotlar to'plamida hisoblaydi va keyin parametrlarni yangilaydi. Bu tushish yo'nalishini aniq ta'minlaydi, ammo katta ma'lumotlar to'plamlari bilan juda sekin bo'lishi mumkin.

• Stokastik gradient tushishi trening to'plamidan tasodifiy tanlangan misol (yoki kichik mini-partiya) uchun hisoblangan gradient asosida parametrlarni yangilaydi. Bu yangilanishlarni shovqinliroq va kamroq aniq qiladi, ammo o'qishni sezilarli darajada tezlashtiradi va mahalliy minimaldan chiqishga yordam beradi.

Misol:

# Klassik gradient tushishi
for epoch in range(epochs):
    grad = compute_gradient(full_dataset)
    weights -= learning_rate * grad

# Stokastik gradient tushishi
for epoch in range(epochs):
    for sample in dataset:
        grad = compute_gradient(sample)
        weights -= learning_rate * grad

Shu sababli, SGD tezroq va katta ma'lumotlar to'plamlari uchun mosroq, ammo parametrlarni sozlashni talab qiladi va minimum atrofida tebranishi mumkin.