¿Qué es FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — es un método de entrenamiento distribuido de redes neuronales, en el cual los parámetros del modelo, los gradientes y los estados del optimizador se fragmentan completamente (se dividen) entre todas las GPU disponibles. A diferencia del Data Parallel tradicional, donde cada GPU almacena una copia completa del modelo, FSDP divide el modelo en partes y las distribuye entre los dispositivos, lo que reduce significativamente los requisitos de memoria en cada GPU y permite entrenar modelos muy grandes.

Las principales ventajas de FSDP:

• Ahorro de memoria mediante el fragmentado de parámetros y estados del optimizador.
• Capacidad de entrenar modelos que no caben en la memoria de una sola GPU.
• Distribución eficiente de cálculos y comunicaciones entre dispositivos.

El proceso generalmente funciona así: el modelo se divide en capas o bloques, cada uno almacenado en una GPU separada. Durante la pasada hacia adelante y hacia atrás, se intercambian los tensores necesarios entre los dispositivos, y las actualizaciones de los parámetros se realizan localmente en cada fragmento fragmentado.

FSDP se usa a menudo en frameworks modernos como PyTorch, para escalar el entrenamiento de modelos grandes en clústeres con múltiples GPU.