Šta je FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — је метода расподељеног учења неуронских мрежа, у којој су параметри модела, градијенти и стања оптимизатора у потпуности шардовани (подељени) између свих доступних GPU-ова. За разлику од традиционалног Data Parallel, где сваки GPU чува потпуну копију модела, FSDP дели модел на делове и их распоређује по уређајима, што значајно смањује захтеве за меморију на сваком GPU-у и омогућава тренинг веома великих модела.

Главне предности FSDP:

• Уштеда меморије кроз шардовање параметара и стања оптимизатора.
• Могућност тренинга модела који не стају у меморију једног GPU-а.
• Ефикасна расподела рачунања и комуникација између уређаја.

Процес обично изгледа овако: модел се дели на слојеве или блокове, од којих се сваки чува на одвојеном GPU-у. Током директног и назадног пролаза, потребни тензори се размењују између уређаја, а ажурирања параметара се извршавају локално на сваком шардованом фрагменту.

FSDP се често користи у савременим оквирима као што је PyTorch, за скалирање тренинга великих модела на кластерима са више GPU-ова.