Czym jest FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — to metoda rozproszonego uczenia się sieci neuronowych, w której parametry modelu, gradienty i stany optymalizatora są całkowicie shardowane (podzielone) pomiędzy wszystkie dostępne GPU. W przeciwieństwie do tradycyjnego Data Parallel, gdzie każda GPU przechowuje pełną kopię modelu, FSDP dzieli model na części i rozprowadza je po urządzeniach, co znacznie zmniejsza wymagania pamięciowe na każdej GPU i pozwala na trenowanie bardzo dużych modeli.

Główne zalety FSDP:

• Oszczędność pamięci dzięki shardowaniu parametrów i stanów optymalizatora.
• Możliwość trenowania modeli, które nie mieszczą się w pamięci jednej GPU.
• Efektywne rozdzielanie obliczeń i komunikacji między urządzeniami.

Proces wygląda zazwyczaj tak: model jest dzielony na warstwy lub bloki, z których każdy jest przechowywany na osobnej GPU. Podczas przejścia do przodu i wstecznych propagacji, niezbędne tensory są wymieniane między urządzeniami, a aktualizacje parametrów są wykonywane lokalnie na każdym shardowanym fragmencie.

FSDP jest często używany w nowoczesnych frameworkach, takich jak PyTorch, do skalowania treningu dużych modeli na klastrach z wieloma GPU.