FSDP (Fully Sharded Data Parallel) nima?

Fully Sharded Data Parallel (FSDP) — bu, neyron tarmoqni taqsimlangan o‘qitish usuli bo‘lib, unda model parametrlar, gradientlar va optimizator holatlari to‘liq bo‘lib, mavjud bo‘lgan barcha GPU o‘rtasida shard qilinadi (bo‘linadi). An’anaviy Data Parallel’dan farqli o‘laroq, har bir GPU modelning to‘liq nusxasini saqlamay, uni bo‘laklarga bo‘lib, qurilmalarga tarqatadi, bu esa har bir GPUdagi xotira talablarini sezilarli darajada kamaytiradi va juda katta modellarning o‘qitilishini imkoniyatini yaratadi.

FSDP ning asosiy afzalliklari:

• Parametrlar va optimizator holatlarini shard qilish orqali xotira tejash.
• Bir GPU xotirasiga sig‘maydigan modellarning o‘qitilishi.
• Qurilmalar o‘rtasida hisoblash va aloqa samarali taqsimoti.

Jarayon odatda shunday ishlaydi: model qatlamlarga yoki bloklarga bo‘linadi, har biri alohida GPUda saqlanadi. To‘g‘ridan va orqaga tarashda, zarur tensorlar qurilmalar o‘rtasida almashiladi, va parametrlarni yangilashlar har bir shardlangan bo‘lakda lokal ravishda amalga oshiriladi.

FSDP ko‘pincha PyTorch kabi zamonaviy frameworklarda ishlatiladi va ko‘p GPUli klasterlarda katta modellarning o‘qitilishini kengaytirish uchun qo‘llaniladi.