Ce este DP-SGD și cum se adaugă zgomotul?

DP-SGD (Gradient Stochastic Privat Diferential) este un algoritm de antrenare a modelelor de învățare automată care asigură confidențialitatea diferențială. Ideea principală este de a limita influența fiecărui exemplu individual din setul de antrenament asupra modelului final pentru a proteja confidențialitatea datelor.

Cum se adaugă zgomotul:

1. La fiecare pas, se calculează gradientul pentru fiecare exemplu sau mic grup de exemple (mini-batch).
2. Gradientele fiecărui exemplu sunt normalizate (tăiate) conform normei pentru a limita influența maximă.
3. La suma gradientelor normalizate se adaugă zgomot aleator, de obicei gaussian, cu o dispersie care depinde de parametrii de confidențialitate.
4. Actualizarea parametrilor modelului se face folosind gradientul cu zgomot.

Astfel, zgomotul asigură că modificările din setul de antrenament nu conduc la schimbări semnificative în model, garantând formal confidențialitatea diferențială.