Gradientu kritums, SGD un Mini-Batch SGD: kādas ir atšķirības, priekšrocības un trūkumi katram?

Gradient Descent (GD) — tas ir optimizācijas metode, kurā gradienti tiek aprēķināti uz visu apmācības paraugu vienā iterācijā.

• Priekšrocības: precīza lejupvērta virziena noteikšana, stabils zaudējuma funkcijas samazinājums.
• Trūkumi: lēnas iterācijas ar lieliem datiem, augsta skaitļošanas slodze.

Stochastic Gradient Descent (SGD) — gradienti tiek aprēķināti uz vienas nejaušas parauga katrā iterācijā.

• Priekšrocības: ātras iterācijas, mazāk atmiņas, var izkļūt no vietējiem minimāliem, pateicoties troksnim.
• Trūkumi: augsta dispersija gradientiem, mazāk stabils uzvedība, prasa rūpīgu mācīšanās ātruma regulēšanu.

Mini-Batch SGD — kompromiss starp GD un SGD, gradienti tiek aprēķināti uz mazām apakšgrupām (batchiem).

• Priekšrocības: līdzsvars starp ātrumu un stabilitāti, efektīva paralēlisms, troksņa izlīdzināšana.
• Trūkumi: batch lieluma izvēle ietekmē mācīšanās kvalitāti un ātrumu, prasa regulēšanu.

Praktiski, visbiežāk izmanto Mini-Batch SGD, jo tas apvieno abu metožu priekšrocības un labi mērogojas.