Kas ir DP-SGD un kā tiek pievienots troksnis?

DP-SGD (Atšķirīgi Privāts Stohastiskais Gradiens Samazinājums) ir algoritms mašīnmācīšanās modeļu apmācībai, kas nodrošina diferenciālo privātumu. Galvenā ideja ir ierobežot katra atsevišķa piemēra ietekmi uz galīgo modeli, lai aizsargātu datu konfidencialitāti.

Kā tiek pievienots troksnis:

1. Katram solim tiek aprēķināts gradiens katram piemēram vai mazai piemēru grupai (mini-batch).
2. Katra piemēra gradiens tiek normalizēts (nogriezts) pēc normas, lai ierobežotu maksimālo ietekmi.
3. Pie normalizētā griezuma summas tiek pievienots nejaušs troksnis, parasti gaussisks, ar dispersiju, kas ir atkarīga no privātuma parametriem.
4. Modeļa parametru atjaunināšana notiek, izmantojot troksnaino griezumu.

Šādā veidā troksnis nodrošina, ka izmaiņas apmācības kopā neizraisa būtiskas izmaiņas modelī, kas formāli garantē diferenciālo privātumu.