Что такое DP-SGD и как добавляется шум?

DP-SGD (Differentially Private Stochastic Gradient Descent) — это алгоритм обучения моделей машинного обучения с обеспечением дифференциальной приватности. Основная идея — ограничить влияние каждого отдельного примера из обучающего набора на итоговую модель, чтобы защитить конфиденциальность данных.

Как добавляется шум:

1. На каждом шаге вычисляется градиент для каждого примера или небольшой группы примеров (mini-batch).
2. Градиенты каждого примера нормируются (клиппируются) по норме, чтобы ограничить максимальное влияние.
3. К сумме нормированных градиентов добавляется случайный шум, обычно гауссовский, с дисперсией, зависящей от параметров приватности.
4. Обновление параметров модели происходит с использованием зашумленного градиента.

Таким образом, шум обеспечивает, что изменения в обучающей выборке не приводят к значительным изменениям в модели, что формально гарантирует дифференциальную приватность.