DP-SGD nima va shovqin qanday qo'shiladi?

DP-SGD (Farqlashli Maxfiylikli Stokastik Gradient Tushishi) mashina o'qitish modellarini o'qitishda ishlatiladigan, farqlashli maxfiylikni ta'minlaydigan algoritmdir. Asosiy g'oya — o'qitish to'plamidagi har bir alohida misolning yakuniy modelga ta'sirini cheklash va shunday qilib, ma'lumotlarning maxfiyligini himoya qilish.

Shovqin qanday qo'shiladi:

1. Har bir bosqichda, har bir misol yoki kichik guruh (mini-batch) uchun gradient hisoblanadi.
2. Har bir misolning gradienti uning normasi bo'yicha normallashtiriladi (qirqiladi) va maksimal ta'sir cheklangan bo'ladi.
3. Normallashtirilgan gradientlarning yig'indisiga, odatda, parametrlarning maxfiylik parametrlariga bog'liq bo'lgan, tasodifiy shovqin (odatda Gaus) qo'shiladi.
4. Model parametrlarini yangilash, shovqin bilan gradient yordamida amalga oshiriladi.

Shu tarzda, shovqin, o'qitish to'plamidagi o'zgarishlar modelda sezilarli o'zgarishlarga olib kelmasligini ta'minlaydi va rasmiy ravishda farqlashli maxfiylikni kafolatlaydi.