Kas ir FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — ir metode, kas sadalīts neironu tīklu izplatītā apmācība, kurā modeļa parametri, gradienti un optimizatora stāvokļi ir pilnībā shardoti (sadali) starp visām pieejamajām GPU. Atšķirībā no tradicionālā Data Parallel, kur katrs GPU glabā pilnu modeļa kopiju, FSDP sadala modeli pa daļām un tās izdala starp ierīcēm, kas ievērojami samazina atmiņas prasības katrā GPU un ļauj apmācīt ļoti lielus modeļus.

Galvenās FSDP priekšrocības:

• Atmiņas taupīšana, shardojot parametrus un optimizatora stāvokļus.
• Iespēja apmācīt modeļus, kas neiederas vienas GPU atmiņā.
• Efektīva aprēķinu un komunikācijas sadale starp ierīcēm.

Parasti process izskatās šādi: modelis tiek sadalīts slāņos vai blokos, katrs tiek glabāts atsevišķā GPU. Tiešās un atpakaļgaitas pārejas laikā nepieciešamie tenzori tiek apmainīti starp ierīcēm, un parametru atjauninājumi tiek veikti lokāli katrā shardētajā fragmentā.

FSDP bieži tiek izmantots mūsdienu ietvaros, piemēram, PyTorch, lai mērogotu lielu modeļu apmācību vairākās GPU klasteros.