Czym jest DP-SGD i jak dodaje się szum?

DP-SGD (Różnicowo Prywatny Stochastyczny Spadek Gradientu) to algorytm uczenia modeli uczenia maszynowego zapewniający różnicową prywatność. Głównym pomysłem jest ograniczenie wpływu każdego pojedynczego przykładu z zestawu treningowego na końcowy model, aby chronić poufność danych.

Jak dodawany jest szum:

1. Na każdym kroku oblicza się gradient dla każdego przykładu lub małej grupy przykładów (mini-batch).
2. Gradienty każdego przykładu są normalizowane (przycinane) według normy, aby ograniczyć maksymalny wpływ.
3. Do sumy znormalizowanych gradientów dodaje się losowy szum, zwykle gaussowski, o rozproszeniu zależnym od parametrów prywatności.
4. Aktualizacja parametrów modelu odbywa się z użyciem zaszumionego gradientu.

W ten sposób szum zapewnia, że zmiany w zestawie treningowym nie prowadzą do znaczących zmian w modelu, co formalnie gwarantuje różnicową prywatność.