Gradiente Descendente, SGD e Mini-Batch SGD: quais são as diferenças, vantagens e desvantagens de cada um?

Gradiente Descendente (GD) — é um método de otimização em que os gradientes são calculados em toda a amostra de treinamento em uma única iteração.

• Vantagens: direção de descida precisa, redução estável da função de perda.
• Desvantagens: iteração lenta com grandes conjuntos de dados, alta carga computacional.

Gradiente Descendente Estocástico (SGD) — os gradientes são calculados em um único exemplo aleatório por iteração.

• Vantagens: iterações rápidas, menor uso de memória, pode escapar de mínimos locais graças ao ruído.
• Desvantagens: alta dispersão dos gradientes, comportamento menos estável, requer ajuste cuidadoso da taxa de aprendizagem.

Mini-Batch SGD — compromisso entre GD e SGD, os gradientes são calculados em pequenos subconjuntos (lotes).

• Vantagens: equilíbrio entre velocidade e estabilidade, uso eficiente do paralelismo, suavização do ruído.
• Desvantagens: a escolha do tamanho do lote afeta a qualidade e a velocidade de aprendizagem, requer ajuste.

Na prática, o Mini-Batch SGD é mais utilizado, pois combina as vantagens de ambos os métodos e escala bem.