Čo je DP-SGD a ako sa pridáva šum?

DP-SGD (Diferenciálne súkromný stochastický gradientný zostup) je algoritmus na tréning modelov strojového učenia, ktorý zabezpečuje diferenciálnu súkromie. Hlavná myšlienka je obmedziť vplyv každého jednotlivého príkladu zo súboru na konečný model, aby sa chránila dôvernosť údajov.

Ako sa pridáva šum:

1. Pri každom kroku sa vypočíta gradient pre každý príklad alebo malú skupinu príkladov (mini-batch).
2. Gradienty každého príkladu sa normalizujú (orežú) podľa ich normy, aby sa obmedzil maximálny vplyv.
3. K súčtu normalizovaných gradientov sa pridá náhodný šum, zvyčajne gaussovský, s rozptylom závislým od parametrov súkromia.
4. Aktualizácia parametrov modelu sa vykonáva s použitím šumového gradientu.

Týmto spôsobom šum zabezpečuje, že zmeny v súbore na tréning nevedú k významným zmenám v modeli, čo formálne garantuje diferenciálnu súkromie.