Senior
DP-SGD چیست و چگونه نویز افزوده میشود؟
sobes.tech AI
Ҷавоб аз AI
DP-SGD (Гирдодории хусусӣ Стокастикӣ Градиентӣ Камкунӣ) як алгоритми омӯзиши моделҳои мошинӣ мебошад, ки кафолати хусусиятии фарқиятиро таъмин мекунад. Идеяи асосӣ ин аст, ки таъсири ҳар як намунаи алоҳидаи дар маҷмӯъ дар маҷмӯаи омӯзишӣ ба моделро маҳдуд кардан, то махфияти маълумотҳоро ҳифз кардан.
Чӣ гуна шовини илова мешавад:
- Дар ҳар қадам, градиент барои ҳар намуна ё гурӯҳи хурди намунаҳо (мини-батч) ҳисоб карда мешавад.
- Градиентҳои ҳар намуна мувофиқи нормаи онҳо нормализ (кит) карда мешаванд, то таъсири максималӣ маҳдуд карда шавад.
- Ба ҷамъшавии градиентҳои нормализшуда шовини тасодуфӣ, одатан гауссӣ, бо парҳезе, ки аз параметрҳои махфият вобаста аст, илова карда мешавад.
- Навсозии параметрҳои модел бо истифода аз градиенти шовинӣ анҷом дода мешавад.
Ин гуна шовинӣ кафолат медиҳад, ки тағйирот дар маҷмӯаи омӯзиш ба модел тағйироти муҳим намеорад, ки ба таври расмӣ кафолати хусусиятии фарқиятиро медиҳад.