Стохастикалық градиенттік түсіру классикалықтан қалай ерекшеленеді?

Стохастикалық градиенттік түсіру (SGD) классикалық (әдеттегі) градиенттік түсіруден оның модель параметрлерін жаңарту тәсілімен ерекшеленеді:

• Классикалық градиенттік түсіру шынымен де барлық оқыту жиынтығы бойынша шығын функциясының градиентін есептейді және содан кейін параметрлерді жаңартады. Бұл түсірудің дәл бағытын қамтамасыз етеді, бірақ үлкен деректер жиынтығында өте баяу болуы мүмкін.

• Стохастикалық градиенттік түсіру оқыту жиынтығынан кездейсоқ таңдалған бір мысалға (немесе шағын мини-бөлікке) негізделген градиентті есептеу арқылы параметрлерді жаңартады. Бұл жаңартуларды шуылдақ етеді және дәлдігін азайтады, бірақ оқытуды айтарлықтай жылдамдатады және локальды минимумдардан шығуға көмектеседі.

Мысал:

# Классикалық градиенттік түсіру
for epoch in range(epochs):
    grad = compute_gradient(full_dataset)
    weights -= learning_rate * grad

# Стохастикалық градиенттік түсіру
for epoch in range(epochs):
    for sample in dataset:
        grad = compute_gradient(sample)
        weights -= learning_rate * grad

Осылайша, SGD тезірек және үлкен деректер үшін көбірек қолайлы, бірақ параметрлерді баптауды талап етеді және минимум айналасында тербелуі мүмкін.