FSDP эмне жана ал DDPден эмнеге айырмаланат?

FSDP (Fully Sharded Data Parallel) жана DDP (Distributed Data Parallel) нейрон тармактарын бөлүштүрүлгөн окутуу ыкмалары болуп саналат, бирок алар эс тутумду жана байланыштарды башкаруу боюнча айырмаланат.

DDP — классикалык ыкма, анда ар бир процесс (GPU) модельдин толук көчүрмөсүн сактайт жана ар бир кайталанган сайын градиенттерди алмашат. Бул ишке ашыруу оңой, бирок ар бир түзмөктө модель көбөйүп жаткандыктан көп эс тутум талап кылынат.

FSDP — өнүккөн ыкма, ал модельди shard-талган бөлүктөргө бөлүп, аларды процесстер арасында бөлүштүрөт. Ар бир процесс параметрлердин жана алардын градиенттеринин гана бир бөлүгүн сактайт, бул эс тутумдун керектөөнү айтарлыктай азайтат. FSDP ошондой эле коммуникациянын кечигүүлөрүн эффективдүү жашырып, өтө чоң моделдерди масштабдоого мүмкүндүк берет.

Мисал: миллиарддаган параметрлери бар чоң моделди окутууда, DDP GPU эс тутумуна сыйбашы мүмкүн, ал эми FSDP моделди бир нече түзмөккө бөлүп, окутуунун эффективдүүлүгүн сактап, эс тутумду үнөмдөйт.