DP-SGD nedir ve gürültü nasıl eklenir?

DP-SGD (Farklılık Gözeten Rastgele Gradyan İnişi) makine öğrenimi modellerinin eğitiminde kullanılan, diferansiyel gizliliği sağlayan bir algoritmadır. Ana fikir, eğitim kümesindeki her bir örneğin nihai modele etkisini sınırlandırmak ve böylece verilerin gizliliğini korumaktır.

Gürültü nasıl eklenir:

1. Her adımda, her örnek veya küçük bir örnek grubu (mini-batch) için gradyan hesaplanır.
2. Her örneğin gradyanı, maksimum etkiyi sınırlandırmak için normuna göre normalize edilir (kırpılır).
3. Normalize edilen gradyanların toplamına, genellikle varyansı gizlilik parametrelerine bağlı olan, rastgele bir gürültü (çoğunlukla Gauss) eklenir.
4. Model parametreleri, gürültülü gradyan kullanılarak güncellenir.

Bu şekilde, gürültü, eğitim kümesindeki değişikliklerin modelde önemli değişikliklere yol açmamasını sağlar ve böylece diferansiyel gizliliği resmi olarak garanti eder.