Mi az a DP-SGD és hogyan adódik hozzá zaj?

DP-SGD (Differenciális Privát Stochasztikus Gradienscsökkenés) egy olyan algoritmus gépi tanulási modellek tanítására, amely garantálja a differenciális magánéletet. A fő ötlet az, hogy korlátozzuk minden egyes példány hatását a tanulási készletből a végső modellre, hogy megvédjük az adatok bizalmasságát.

Hogyan adódik hozzá a zaj:

1. Minden lépésben kiszámítják a gradienset minden példányra vagy kis csoportjára (mini-batch).
2. Minden példány gradiensét normálják (kivágják) a normája szerint, hogy korlátozzák a maximális hatást.
3. A normalizált gradiens összegéhez véletlenszerű zajt adnak, általában gaussit, amelynek szórása a magánéleti paraméterektől függ.
4. A modell paramétereinek frissítése a zajjal ellátott gradiens felhasználásával történik.

Így a zaj biztosítja, hogy a tanulási készletben bekövetkező változások ne eredményezzenek jelentős változásokat a modellben, hivatalosan garantálva a differenciális magánéletet.