O que é FSDP e como se diferencia do DDP?

FSDP (Fully Sharded Data Parallel) e DDP (Distributed Data Parallel) são métodos de treino distribuído de redes neurais, mas diferem na gestão de memória e comunicações.

DDP é uma abordagem clássica onde cada processo (GPU) mantém uma cópia completa do modelo e troca gradientes após cada iteração. É fácil de implementar, mas requer muita memória, pois o modelo é duplicado em cada dispositivo.

FSDP é um método mais avançado que divide o modelo em partes fragmentadas e as distribui entre processos. Cada processo mantém apenas uma parte dos parâmetros e seus gradientes, o que reduz significativamente o consumo de memória. FSDP também oculta eficazmente as latências de comunicação, permitindo escalar o treino para modelos muito grandes.

Exemplo: ao treinar um modelo enorme com bilhões de parâmetros, DDP pode não caber na memória da GPU, enquanto FSDP permite distribuir o modelo por vários dispositivos, mantendo a eficiência do treino e economizando memória.