Какво е DP-SGD и как се добавя шум?

DP-SGD (Диференциално частен стохастичен градиентен спуск) е алгоритъм за обучение на модели за машинно обучение, който гарантира диференциална поверителност. Основната идея е да се ограничи влиянието на всеки отделен пример от обучаващия набор върху крайния модел, за да се защити поверителността на данните.

Как се добавя шум:

1. На всяка стъпка се изчислява градиент за всеки пример или малка група примери (мини-батч).
2. Градиентите на всеки пример се нормализират (отрязват) според нормата им, за да се ограничи максималното влияние.
3. К сумата на нормализираните градиенти се добавя случайен шум, обикновено гаусов, с дисперсия, зависеща от параметрите за поверителност.
4. Актуализацията на параметрите на модела става с използване на шумения градиент.

По този начин шумът гарантира, че промените в обучаващия набор не водят до значителни промени в модела, което формално гарантира диференциална поверителност.