Kas yra FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — tai metodas, skirtas neuroninių tinklų paskirstytam mokymui, kai modelio parametrai, gradientai ir optimizatoriaus būsenos visiškai shardinami (padalijami) tarp visų prieinamų GPU. Skirtingai nuo tradicinio Data Parallel, kur kiekvienas GPU saugo viso modelio kopiją, FSDP padalija modelį į dalis ir jas paskirsto tarp įrenginių, kas žymiai sumažina atminties reikalavimus kiekviename GPU ir leidžia mokyti labai didelius modelius.

Pagrindiniai FSDP privalumai:

• Atminties taupymas per parametrų ir optimizatoriaus būsenų shardinimą.
• Galimybė mokyti modelius, kurie neįtelpa į vieno GPU atmintį.
• Efektyvus skaičiavimų ir komunikacijos paskirstymas tarp įrenginių.

Procesas dažniausiai atrodo taip: modelis yra padalijamas į sluoksnius arba blokus, kurių kiekvienas saugomas atskirame GPU. Per tiesioginį ir atgalinį praeimus, reikalingi tensorai keičiasi tarp įrenginių, o parametrų atnaujinimai atliekami lokaliai kiekviename shardintame fragmente.

FSDP dažnai naudojamas moderniuose framework'uose, kaip PyTorch, siekiant išplėsti didelių modelių mokymą keliuose GPU klasteriuose.