Какво е FSDP (Fully Sharded Data Parallel)?

Fully Sharded Data Parallel (FSDP) — това е метод за разпределено обучение на невронни мрежи, при който параметрите на модела, градиентите и състоянията на оптимизатора са напълно шарднати (разделени) между всички налични GPU. За разлика от традиционния Data Parallel, където всяка GPU съхранява пълно копие на модела, FSDP разделя модела на части и ги разпределя между устройствата, което значително намалява изискванията към паметта на всяка GPU и позволява обучение на много големи модели.

Основните предимства на FSDP:

• Спестяване на памет чрез шардване на параметрите и състоянията на оптимизатора.
• Възможност за обучение на модели, които не се побират в паметта на една GPU.
• Ефективно разпределение на изчисленията и комуникациите между устройствата.

Обикновено процесът изглежда така: моделът се разделя на слоеве или блокове, всеки от които се съхранява на отделна GPU. По време на директния и обратния проход се обменят необходимите тензори между устройствата, а актуализациите на параметрите се извършват локално на всеки шарднат фрагмент.

FSDP често се използва в съвременни рамки като PyTorch за мащабиране на обучението на големи модели в клъстери с множество GPU.