O que é FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — é um método de treino distribuído de redes neurais, no qual os parâmetros do modelo, os gradientes e os estados do otimizador são completamente fragmentados (divididos) entre todas as GPUs disponíveis. Ao contrário do Data Parallel tradicional, onde cada GPU armazena uma cópia completa do modelo, o FSDP divide o modelo em partes e as distribui pelos dispositivos, o que reduz significativamente os requisitos de memória em cada GPU e permite treinar modelos muito grandes.

As principais vantagens do FSDP:

• Economia de memória através do fragmento de parâmetros e estados do otimizador.
• Capacidade de treinar modelos que não cabem na memória de uma única GPU.
• Distribuição eficiente de cálculos e comunicações entre dispositivos.

O processo geralmente funciona assim: o modelo é dividido em camadas ou blocos, cada um armazenado em uma GPU separada. Durante a passagem direta e a retropropagação, os tensores necessários são trocados entre os dispositivos, e as atualizações dos parâmetros são feitas localmente em cada fragmento fragmentado.

O FSDP é frequentemente usado em frameworks modernos como PyTorch, para escalar o treinamento de grandes modelos em clusters com múltiplas GPUs.