Was ist FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) ist eine Methode des verteilten Trainings von neuronalen Netzen, bei der die Parameter des Modells, die Gradienten und die Optimiererzustände vollständig zwischen allen verfügbaren GPUs shardiert (aufgeteilt) werden. Im Gegensatz zum traditionellen Data Parallel, bei dem jede GPU eine vollständige Kopie des Modells speichert, teilt FSDP das Modell in Teile auf und verteilt sie auf die Geräte, was die Speicheranforderungen auf jeder GPU erheblich reduziert und das Training sehr großer Modelle ermöglicht.

Hauptvorteile von FSDP:

• Speicherersparnis durch Sharding der Parameter und Optimiererzustände.
• Möglichkeit, Modelle zu trainieren, die nicht in den Speicher einer einzelnen GPU passen.
• Effiziente Verteilung von Berechnungen und Kommunikation zwischen den Geräten.

Der Prozess sieht in der Regel so aus: Das Modell wird in Schichten oder Blöcke unterteilt, die jeweils auf einer separaten GPU gespeichert werden. Während des Vorwärts- und Rückwärtsdurchlaufs werden die notwendigen Tensoren zwischen den Geräten ausgetauscht, und die Parameteraktualisierungen werden lokal auf jedem shardierten Fragment durchgeführt.

FSDP wird häufig in modernen Frameworks wie PyTorch verwendet, um das Training großer Modelle auf Clustern mit mehreren GPUs zu skalieren.