Cos'è FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — è un metodo di addestramento distribuito di reti neurali, in cui i parametri del modello, i gradienti e gli stati dell’ottimizzatore sono completamente shardati (divisi) tra tutte le GPU disponibili. A differenza del Data Parallel tradizionale, dove ogni GPU memorizza una copia completa del modello, FSDP divide il modello in parti e le distribuisce sui dispositivi, riducendo significativamente i requisiti di memoria su ogni GPU e consentendo di addestrare modelli molto grandi.

Vantaggi principali di FSDP:

• Risparmio di memoria grazie allo sharding di parametri e stati dell’ottimizzatore.
• Possibilità di addestrare modelli che non entrano nella memoria di una singola GPU.
• Distribuzione efficiente dei calcoli e delle comunicazioni tra dispositivi.

Il processo di solito funziona così: il modello viene diviso in strati o blocchi, ognuno memorizzato su una GPU separata. Durante il passaggio in avanti e indietro, i tensori necessari vengono scambiati tra i dispositivi, e gli aggiornamenti dei parametri vengono eseguiti localmente su ogni frammento shardato.

FSDP è spesso utilizzato in framework moderni come PyTorch, per scalare l’addestramento di grandi modelli su cluster con più GPU.