Wat is DP-SGD en hoe wordt ruis toegevoegd?

DP-SGD (Differentiële Privé Stochastische Gradient Descent) is een algoritme voor het trainen van machine learning-modellen dat differentiële privacy garandeert. Het belangrijkste idee is om de invloed van elk individueel voorbeeld uit de trainingsset op het uiteindelijke model te beperken om de vertrouwelijkheid van gegevens te beschermen.

Hoe wordt ruis toegevoegd:

1. Bij elke stap wordt de gradient voor elk voorbeeld of kleine groep voorbeelden (mini-batch) berekend.
2. De gradients van elk voorbeeld worden genormaliseerd (afgekapt) volgens hun norm om de maximale invloed te beperken.
3. Aan de som van de genormaliseerde gradients wordt willekeurig ruis toegevoegd, meestal gaussisch, met een variantie die afhangt van de privacyparameters.
4. De update van de modelparameters gebeurt met behulp van de geruisde gradient.

Op deze manier zorgt ruis ervoor dat veranderingen in de trainingsset niet leiden tot significante veranderingen in het model, wat formeel differentiële privacy garandeert.