¿Qué es DP-SGD y cómo se añade el ruido?

DP-SGD (Gradiente Estocástico Privado Diferencialmente) es un algoritmo de entrenamiento de modelos de aprendizaje automático que garantiza la privacidad diferencial. La idea principal es limitar la influencia de cada ejemplo individual del conjunto de entrenamiento en el modelo final para proteger la confidencialidad de los datos.

Cómo se añade el ruido:

1. En cada paso, se calcula el gradiente para cada ejemplo o pequeño grupo de ejemplos (mini-batch).
2. Los gradientes de cada ejemplo se normalizan (se recortan) según su norma para limitar la influencia máxima.
3. A la suma de los gradientes normalizados se le añade ruido aleatorio, generalmente gaussiano, con una dispersión que depende de los parámetros de privacidad.
4. La actualización de los parámetros del modelo se realiza usando el gradiente con ruido.

De esta manera, el ruido asegura que los cambios en el conjunto de entrenamiento no conduzcan a cambios significativos en el modelo, garantizando formalmente la privacidad diferencial.