DP-SGD эмне жана шуу кандай кошулат?

DP-SGD (Айырмалуу Жеке Стокастикалык Градиент Төмөндөш) — бул машиналык үйрөнүү моделдерин үйрөтүүдө колдонулган алгоритм, ал айырмалуу жеке жашыруундукту камсыздайт. Негизги идея — ар бир жеке мисалдын таасирин чектөө, андан соң моделдин жыйынтыгын коргоо.

Шумду кантип кошуу:

1. Ар бир кадамда, ар бир мисал же кичинекей топтому (мини-батч) үчүн градиент эсептелет.
2. Ар бир мисалдын градиенти анын норма боюнча нормалданып (кесилет), максималдуу таасир чектелет.
3. Нормалданып жаткан градиенттердин жыйындысына, адатта, гауссийдик кездейсоқ шум кошулат, ал параметрлердин жашыруундугуна көз каранды.
4. Моделдин параметрлерин жаңыртуу шуу менен градиентти колдонуу аркылуу жүргүзүлөт.

Ошентип, шум моделдин өзгөрүүлөрүнө олуттуу таасир этпестигин камсыздайт, жана расмий түрдө айырмалуу жашыруундукту кепилдейт.