Գրադիենտային իջեցում, SGD և Mini-Batch SGD: ինչ տարբերություններ ունեն, յուրաքանչյուրի առավելություններն ու թերությունները ինչ են?

Gradient Descent (GD) — սա օպտիմալացման մեթոդ է, որի ժամանակ գրադիենտները հաշվվում են ամբողջ ուսուցողական նմուշի վրա մեկ ցիկլում:

• Առավելություններ: ճշգրիտ իջման ուղղություն, կայուն կորուստային ֆունկցիայի նվազում:
• Կոմպրոմիսներ: դանդաղ ցիկլեր մեծ տվյալների դեպքում, բարձր հաշվարկային բեռ:

Stochastic Gradient Descent (SGD) — գրադիենտները հաշվվում են մեկ պատահական օրինակով յուրաքանչյուր ցիկլում:

• Առավելություններ: արագ ցիկլեր, քիչ հիշողություն, կարող է դուրս գալ տեղական մինիմումներից՝ աղմուկի շնորհիվ:
• Կոմպրոմիսներ: բարձր գրադիենտների տարբերակումը, քիչ կայունություն, պահանջում է ուշադիր կարգավորել ուսուցման արագությունը:

Mini-Batch SGD — կոմպրոմիս GD և SGD-ի միջև, գրադիենտները հաշվվում են փոքր խմբերով:

• Առավելություններ: հավասարակշռություն արագության և կայունության միջև, արդյունավետ օգտագործում պառալելիզմի, աղմուկի հարթեցում:
• Կոմպրոմիսներ: բետչի չափը ընտրելը ազդում է ուսուցման որակի և արագության վրա, պահանջում է կարգավորում:

Практиկայում, Mini-Batch SGD-ը ամենից հաճախ օգտագործվում է, քանի որ այն համատեղում է երկու մեթոդների առավելությունները և լավ սքեյլավորվում է։