Was ist DP-SGD und wie wird Rauschen hinzugefügt?

DP-SGD (Differentielle Private Stochastische Gradientenabstieg) ist ein Algorithmus zum Training von Modellen des maschinellen Lernens, der die differentielle Privatsphäre gewährleistet. Die Hauptidee ist, den Einfluss jedes einzelnen Beispiels im Trainingssatz auf das endgültige Modell zu begrenzen, um die Vertraulichkeit der Daten zu schützen.

Wie Rauschen hinzugefügt wird:

1. Bei jedem Schritt wird der Gradient für jedes Beispiel oder eine kleine Gruppe von Beispielen (Mini-Batch) berechnet.
2. Die Gradienten jedes Beispiels werden normiert (klemmt) nach ihrer Norm, um den maximalen Einfluss zu begrenzen.
3. Zur Summe der normierten Gradienten wird zufälliges Rauschen hinzugefügt, meist gaußsches Rauschen, mit einer Varianz, die von den Privatsphärenparametern abhängt.
4. Die Aktualisierung der Modellparameter erfolgt unter Verwendung des verrauschten Gradienten.

Auf diese Weise stellt das Rauschen sicher, dass Änderungen im Trainingssatz nicht zu erheblichen Änderungen im Modell führen, was die differentielle Privatsphäre formell garantiert.