¿Qué es FSDP y en qué se diferencia de DDP?

FSDP (Data Paralelo Totalmente Fragmentado) y DDP (Data Paralelo Distribuido) son métodos de entrenamiento distribuido de redes neuronales, pero difieren en la gestión de memoria y comunicaciones.

DDP es un enfoque clásico en el que cada proceso (GPU) mantiene una copia completa del modelo y comparte gradientes después de cada iteración. Es fácil de implementar, pero requiere mucha memoria, ya que el modelo se duplica en cada dispositivo.

FSDP es un método más avanzado que divide el modelo en partes fragmentadas y las distribuye entre procesos. Cada proceso solo mantiene una parte de los parámetros y sus gradientes, lo que reduce significativamente el consumo de memoria. FSDP también oculta eficazmente las latencias de comunicación, permitiendo escalar el entrenamiento a modelos muy grandes.

Ejemplo: al entrenar un modelo enorme con miles de millones de parámetros, DDP puede no caber en la memoria de la GPU, mientras que FSDP permite distribuir el modelo en varios dispositivos, manteniendo la eficiencia del entrenamiento y ahorrando memoria.