Discesa del gradiente, SGD e Mini-Batch SGD: quali sono le differenze, vantaggi e svantaggi di ciascuno?

Gradient Descent (GD) — è un metodo di ottimizzazione in cui i gradienti vengono calcolati sull'intero insieme di training in un'unica iterazione.

• Vantaggi: direzione di discesa precisa, riduzione stabile della funzione di perdita.
• Svantaggi: iterazioni lente con grandi dataset, alto carico computazionale.

Stochastic Gradient Descent (SGD) — i gradienti vengono calcolati su un singolo esempio casuale per iterazione.

• Vantaggi: iterazioni rapide, meno memoria, può uscire da minimi locali grazie al rumore.
• Svantaggi: alta dispersione dei gradienti, comportamento meno stabile, richiede un'attenta regolazione del tasso di apprendimento.

Mini-Batch SGD — compromesso tra GD e SGD, i gradienti vengono calcolati su piccoli sottoinsiemi (batch).

• Vantaggi: equilibrio tra velocità e stabilità, uso efficiente del parallelismo, smussamento del rumore.
• Svantaggi: la scelta della dimensione del batch influisce sulla qualità e sulla velocità di apprendimento, richiede regolazioni.

In pratica, il Mini-Batch SGD è più comunemente usato, poiché combina i vantaggi di entrambi i metodi e si scala bene.