Mis on FSDP ja kuidas see erineb DDP-st?

FSDP (Fully Sharded Data Parallel) ja DDP (Distributed Data Parallel) on neuronivõrkude hajutatud koolitusmeetodid, kuid need erinevad mäehalduses ja kommunikatsioonides.

DDP on klassikaline lähenemine, kus iga protsess (GPU) hoiab täielikku mudeli koopiat ja vahetab gradientide väärtusi pärast iga iteratsiooni. See on lihtne rakendada, kuid nõuab palju mälu, kuna mudel dubleeritakse iga seadme peal.

FSDP on arenenum meetod, mis jagab mudeli shard-ideks ja jaotab need protsesside vahel. Iga protsess hoiab ainult osa parameetritest ja nende gradientidest, mis oluliselt vähendab mälu kasutust. FSDP varjab ka tõhusalt kommunikatsiooniviivitusi, võimaldades skaleerida koolitust väga suurte mudelite puhul.

Näide: suure mudeli koolitamisel, millel on miljardeid parameetreid, võib DDP GPU mälu mitte mahutada, samas kui FSDP võimaldab mudelit jaotada mitme seadme vahel, säilitades koolituse tõhususe ja säästes mälu.