Qu'est-ce que FSDP (Fully Sharded Data Parallel) ?

Fully Sharded Data Parallel (FSDP) — c’est une méthode d’apprentissage distribué des réseaux neuronaux, dans laquelle les paramètres du modèle, les gradients et les états de l’optimiseur sont entièrement fragmentés (divisés) entre toutes les GPU disponibles. Contrairement au Data Parallel traditionnel, où chaque GPU stocke une copie complète du modèle, FSDP divise le modèle en parties et les répartit sur les dispositifs, ce qui réduit considérablement les exigences en mémoire sur chaque GPU et permet d’entraîner des modèles très grands.

Les principaux avantages de FSDP :

• Économie de mémoire grâce à la fragmentation des paramètres et des états de l’optimiseur.
• Possibilité d’entraîner des modèles qui ne tiennent pas dans la mémoire d’un seul GPU.
• Répartition efficace des calculs et des communications entre les dispositifs.

Le processus ressemble généralement à ceci : le modèle est divisé en couches ou blocs, chacun étant stocké sur un GPU séparé. Pendant la passe directe et la rétropropagation, les tenseurs nécessaires sont échangés entre les dispositifs, et les mises à jour des paramètres sont effectuées localement sur chaque fragment fragmenté.

FSDP est souvent utilisé dans des frameworks modernes comme PyTorch, pour faire évoluer l’entraînement de grands modèles sur des clusters avec plusieurs GPU.