Gradientinis nusileidimas, SGD ir Mini-Batch SGD: kuo jie skiriasi, kiekvieno privalumai ir trūkumai?

Gradient Descent (GD) — tai optimizacijos metodas, kurio metu gradientai skaičiuojami visoje mokymo imtyje vienu žingsniu.

• Privalumai: tiksli nusileidimo kryptis, stabilus nuostolio funkcijos mažėjimas.
• Trūkumai: lėtos iteracijos dideliuose duomenyse, didelės skaičiavimo apkrovos.

Stochastic Gradient Descent (SGD) — gradientai skaičiuojami viename atsitiktiniame pavyzdyje kiekvienoje iteracijoje.

• Privalumai: greitos iteracijos, mažiau atminties, gali ištrūkti iš vietinių minimumų dėl triukšmo.
• Trūkumai: didelė gradientų dispersija, mažiau stabili elgsena, reikalauja kruopštaus mokymosi greičio nustatymo.

Mini-Batch SGD — kompromisas tarp GD ir SGD, gradientai skaičiuojami mažose grupėse (batchuose).

• Privalumai: pusiausvyra tarp greičio ir stabilumo, efektyvus paralelizmas, triukšmo išlyginimas.
• Trūkumai: batch dydžio pasirinkimas veikia mokymosi kokybę ir greitį, reikalauja nustatymų.

Praktikoje dažniausiai naudojamas Mini-Batch SGD, nes jis jungia abiejų metodų privalumus ir gerai skalaujasi.