Ի՞նչն է տարբերությունը ստոխաստիկ գրադիենտային իջեցում և դասականը միջև։

Ստոկաստիկ գրադիենտային իջեցում (SGD) տարբեր է դասական ( սովորական ) գրադիենտային իջեցումից այն առումով, թե ինչպես է այն թարմացնում մոդելի պարամետրերը:

• Դասական գրադիենտային իջեցում հաշվարկում է կորուստի ֆունկցիայի գրադիենտը ամբողջ ուսուցման հավաքածուի վրա և ապա թարմացնում է պարամետրերը։ Սա ապահովում է ճշգրիտ իջեցման ուղղություն, բայց կարող է շատ դանդաղ լինել մեծ տվյալների հավաքածուներով:

• Ստոկաստիկ գրադիենտային իջեցում թարմացնում է պարամետրերը՝ հիմնվելով այն գրադիենտի վրա, որը հաշվարկվել է ուսուցման հավաքածուից պատահական ընտրված օրինակով (կամ փոքր մինի-խումբով): Սա դարձնում է թարմացումները ավելի աղմկոտ և քիչ ճշգրիտ, բայց զգալիորեն արագացնում է ուսուցումը և օգնում է դուրս գալ տեղական նվազումներից:

Օրինակ՝

# Դասական գրադիենտային իջեցում
for epoch in range(epochs):
    grad = compute_gradient(full_dataset)
    weights -= learning_rate * grad

# Ստոկաստիկ գրադիենտային իջեցում
for epoch in range(epochs):
    for sample in dataset:
        grad = compute_gradient(sample)
        weights -= learning_rate * grad

Այսպիսով, SGD-ը ավելի արագ է և ավելի հարմար մեծ տվյալների հավաքածուների համար, բայց պահանջում է պարամետրերի կարգավորում և կարող է տատանվել նվազումի շուրջ։