Qu'est-ce que DP-SGD et comment le bruit est-il ajouté?

DP-SGD (Descente de Gradient Stochastique Privée Différentielle) est un algorithme d'apprentissage automatique garantissant la confidentialité différentielle. L'idée principale est de limiter l'influence de chaque exemple individuel du jeu de données d'entraînement sur le modèle final afin de protéger la confidentialité des données.

Comment le bruit est ajouté :

1. À chaque étape, le gradient pour chaque exemple ou petit groupe d'exemples (mini-lot) est calculé.
2. Les gradients de chaque exemple sont normalisés (recadrés) selon leur norme pour limiter l'influence maximale.
3. Une quantité de bruit aléatoire, généralement gaussien, avec une variance dépendant des paramètres de confidentialité, est ajoutée à la somme des gradients normalisés.
4. La mise à jour des paramètres du modèle se fait en utilisant le gradient bruité.

Ainsi, le bruit garantit que les modifications dans l'ensemble d'entraînement n'entraînent pas de changements importants dans le modèle, assurant formellement la confidentialité différentielle.