Čo je FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — je metóda distribuovaného tréningu neurónových sietí, pri ktorej sú parametre modelu, gradienty a stavy optimalizátora úplne shardované (rozdelené) medzi všetky dostupné GPU. Na rozdiel od tradičného Data Parallel, kde každé GPU uchováva úplnú kópiu modelu, FSDP model rozdelí na časti a ich rozdelí medzi zariadenia, čo výrazne znižuje požiadavky na pamäť na každom GPU a umožňuje trénovať veľmi veľké modely.

Hlavné výhody FSDP:

• Úspora pamäti pomocou shardovania parametrov a stavov optimalizátora.
• Možnosť trénovať modely, ktoré sa nezmestia do pamäti jedného GPU.
• Efektívne rozdelenie výpočtov a komunikácií medzi zariadeniami.

Proces zvyčajne vyzerá takto: model sa rozdelí na vrstvy alebo bloky, z ktorých každý je uložený na samostatnom GPU. Počas priameho a spätného prechodu sa vymieňajú potrebné tenzory medzi zariadeniami a aktualizácie parametrov sa vykonávajú lokálne na každom shardovanom fragmente.

FSDP sa často používa v moderných frameworkoch ako PyTorch na škálovanie tréningu veľkých modelov na klastroch s viacerými GPU.