Wat is FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — is een methode voor gedistribueerde training van neurale netwerken, waarbij de parameters van het model, de gradiënten en de optimalisatorstatussen volledig worden geshard (verdeeld) tussen alle beschikbare GPU’s. In tegenstelling tot de traditionele Data Parallel, waarbij elke GPU een volledige kopie van het model opslaat, deelt FSDP het model op in delen en distribueert deze over de apparaten, wat de geheugenvereisten op elke GPU aanzienlijk vermindert en het mogelijk maakt om zeer grote modellen te trainen.

Belangrijkste voordelen van FSDP:

• Geheugenspaargeld door het sharden van parameters en optimalisatorstatussen.
• Mogelijkheid om modellen te trainen die niet in het geheugen van één GPU passen.
• Efficiënte verdeling van berekeningen en communicatie tussen apparaten.

Het proces werkt meestal als volgt: het model wordt opgedeeld in lagen of blokken, elk opgeslagen op een aparte GPU. Tijdens de voorwaartse en achterwaartse passering worden de benodigde tensors uitgewisseld tussen de apparaten, en de parameterupdates worden lokaal uitgevoerd op elk geshard fragment.

FSDP wordt vaak gebruikt in moderne frameworks zoals PyTorch, om de training van grote modellen op clusters met meerdere GPU’s te schalen.