FSDP nedir ve DDP'den nasıl ayrılır?

FSDP (Tam Parçalanmış Veri Paralelliği) ve DDP (Dağıtılmış Veri Paralelliği) sinir ağlarının dağıtılmış eğitimi yöntemleridir, ancak bellek yönetimi ve iletişim açısından farklılık gösterirler.

DDP klasik bir yaklaşımdır; her süreç (GPU) tam bir model kopyası tutar ve her yinelemeden sonra gradyanları paylaşır. Uygulaması basittir, ancak model her cihazda çoğaltıldığı için çok fazla bellek gerektirir.

FSDP ise daha gelişmiş bir yöntemdir; modeli parçalara ayırır ve süreçler arasında dağıtır. Her süreç yalnızca parametrelerin ve gradyanların bir kısmını tutar, bu da bellek kullanımını önemli ölçüde azaltır. FSDP ayrıca iletişim gecikmelerini etkin şekilde gizler, böylece çok büyük modellere eğitim yapmayı mümkün kılar.

Örnek: milyarlarca parametreye sahip devasa bir modeli eğitirken, DDP GPU belleğine sığmayabilir, ancak FSDP modeli birkaç cihaza dağıtarak eğitim verimliliğini korur ve belleği tasarruf eder.