O que é DP-SGD e como é adicionado o ruído?

DP-SGD (Gradiente Estocástico Privado Diferencial) é um algoritmo de treino de modelos de aprendizagem automática que garante privacidade diferencial. A ideia principal é limitar a influência de cada exemplo individual do conjunto de treino no modelo final para proteger a confidencialidade dos dados.

Como o ruído é adicionado:

1. A cada passo, calcula-se o gradiente para cada exemplo ou pequeno grupo de exemplos (mini-batch).
2. Os gradientes de cada exemplo são normalizados (recortados) de acordo com a sua norma para limitar a influência máxima.
3. À soma dos gradientes normalizados, adiciona-se ruído aleatório, geralmente gaussiano, com uma dispersão que depende dos parâmetros de privacidade.
4. A atualização dos parâmetros do modelo é feita usando o gradiente com ruído.

Assim, o ruído garante que as alterações no conjunto de treino não conduzam a mudanças significativas no modelo, garantindo formalmente a privacidade diferencial.