Ce este FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — este o metodă de antrenament distribuit al rețelelor neuronale, în care parametrii modelului, gradientele și stările optimizatorului sunt complet shardate (împărțite) între toate GPU-urile disponibile. Spre deosebire de Data Parallel tradițional, unde fiecare GPU păstrează o copie completă a modelului, FSDP împarte modelul în părți și le distribuie pe dispozitive, ceea ce reduce semnificativ cerințele de memorie pe fiecare GPU și permite antrenarea modelelor foarte mari.

Principalele avantaje ale FSDP:

• Economisirea memoriei prin shardarea parametrilor și a stărilor optimizatorului.
• Posibilitatea de a antrena modele care nu încap în memoria unui singur GPU.
• Distribuție eficientă a calculelor și comunicațiilor între dispozitive.

Procesul în general arată astfel: modelul este împărțit în straturi sau blocuri, fiecare fiind stocat pe un GPU separat. În timpul trecerii directe și înapoi, tensorii necesari sunt schimbați între dispozitive, iar actualizările parametrilor sunt efectuate local pe fiecare fragment shardat.

FSDP este frecvent utilizat în cadre moderne precum PyTorch, pentru scalarea antrenamentului modelelor mari pe clustere cu multiple GPU-uri.