Mis on DP-SGD ja kuidas lisatakse müra?

DP-SGD (Differentiaalselt Privaatne Stokastiline Gradientide Langus) on masinõppe mudelite treenimise algoritm, mis tagab diferentsiaalse privaatsuse. Põhitees on piirata iga üksiku näite mõju lõplikule mudelile, et kaitsta andmete konfidentsiaalsust.

Kuidas lisatakse müra:

1. Iga sammu jooksul arvutatakse gradient iga näite või väikese näidete rühma (mini-batch) jaoks.
2. Iga näite gradient normaliseeritakse (lõigatakse) vastavalt selle normile, et piirata maksimaalset mõju.
3. Normaliseeritud gradientide summale lisatakse juhuslik müra, tavaliselt gaussi, mille dispersioon sõltub privaatsuse parameetritest.
4. Mudeli parameetrite uuendamine toimub müra gradienti kasutades.

Sel viisil tagab müra, et treeningu kogumi muudatused ei põhjusta olulisi muudatusi mudelis, mis formaalselt garanteerib diferentsiaalse privaatsuse.