Kas yra FSDP ir kaip jis skiriasi nuo DDP?

FSDP (Fully Sharded Data Parallel) ir DDP (Distributed Data Parallel) yra neuroninių tinklų paskirstyto mokymo metodai, tačiau jie skiriasi atminties valdymo ir komunikacijos būdais.

DDP — tai klasikinis požiūris, kai kiekvienas procesas (GPU) saugo pilną modelio kopiją ir po kiekvienos iteracijos keičiasi gradientais. Tai lengva įgyvendinti, tačiau reikalauja daug atminties, nes modelis dubliuojasi kiekviename įrenginyje.

FSDP — pažangesnis metodas, kuris padalija modelį į shard-inius dalis ir jas paskirsto tarp procesų. Kiekvienas procesas saugo tik dalį parametrų ir jų gradientų, kas žymiai sumažina atminties suvartojimą. FSDP taip pat efektyviai slepia komunikacijos delsą, leidžiantį skalę mokymą labai dideliuose modeliuose.

Pavyzdys: mokant didžiulį modelį su milijardais parametrų, DDP gali netilpti į GPU atmintį, o FSDP leidžia paskirstyti modelį keliuose įrenginiuose, išlaikant mokymo efektyvumą ir taupant atmintį.