DP-SGD nədir və səs-küy necə əlavə olunur?

DP-SGD (Fərqli Məxfilikli Stokastik Gradient Azalması) maşın öyrənmə modellərinin təlimində istifadə olunan, fərqli məxfilik təmin edən bir alqoritmdir. Əsas fikir, təlim dəstindəki hər bir fərdi nümunənin son modelə təsirini məhdudlaşdırmaq və beləliklə, məlumatların məxfiliyini qorumaqdır.

Səs necə əlavə olunur:

1. Hər addımda, hər nümunə və ya kiçik qrup (mini-batch) üçün gradient hesablanır.
2. Hər nümunənin gradienti onun norması üzrə normallaşdırılır (kəsilir) və maksimum təsir məhdudlaşdırılır.
3. Normallaşdırılmış gradientlərin cəminə, adətən, parametr məxfilik parametrlərinə bağlı olan, təsadüfi səs (ümumiyyətlə Gauss) əlavə olunur.
4. Model parametrlərinin yenilənməsi, səsli gradient istifadə edilərək həyata keçirilir.

Bu şəkildə, səs, təlim dəstindəki dəyişikliklərin modeldə əhəmiyyətli dəyişikliklərə səbəb olmamasını təmin edir və rəsmi olaraq fərqli məxfilik təmin edir.