Gradienti langus, SGD ja Mini-Batch SGD: milles erinevused, igaühe eelised ja puudused?

Gradient Descent (GD) — see on optimeerimismeetod, kus gradientid arvutatakse kogu treeninguuringu näidise kohta ühes iteratsioonis.

• Eelised: täpne laskumise suund, stabiilne kaotusefunktsiooni vähenemine.
• Miinused: aeglased iteratsioonid suurte andmekogumite puhul, kõrge arvutuskoormus.

Stochastic Gradient Descent (SGD) — gradientid arvutatakse ühel juhuslikul näidisel iga iteratsiooni kohta.

• Eelised: kiiremad iteratsioonid, vähem mälu, võib välja tulla kohalikest miinimumidest müra tõttu.
• Miinused: kõrge dispersioon gradientides, vähem stabiilne käitumine, nõuab hoolikat õppimiskiiruse seadistust.

Mini-Batch SGD — kompromiss GD ja SGD vahel, gradientid arvutatakse väikestes alamhulkades (partiid).

• Eelised: tasakaal kiiruse ja stabiilsuse vahel, tõhus paralleelkasutus, müra silumine.
• Miinused: partii suuruse valik mõjutab õppimise kvaliteeti ja kiirust, nõuab seadistamist.

Praktikas kasutatakse kõige sagedamini Mini-Batch SGD-d, kuna see ühendab mõlema meetodi eelised ja skaleerub hästi.