Τι είναι το DP-SGD και πώς προστίθεται ο θόρυβος;

DP-SGD (Διαφορικά Ιδιωτική Στοχαστική Κατακόρυφη Κατακόρυφη) είναι ένας αλγόριθμος εκπαίδευσης μοντέλων μηχανικής μάθησης που διασφαλίζει τη διαφορική ιδιωτικότητα. Η κύρια ιδέα είναι να περιορίσει την επίδραση κάθε μεμονωμένου παραδείγματος από το σύνολο εκπαίδευσης στο τελικό μοντέλο, ώστε να προστατεύεται η εμπιστευτικότητα των δεδομένων.

Πώς προστίθεται ο θόρυβος:

1. Σε κάθε βήμα, υπολογίζεται το βαθμωτό για κάθε παράδειγμα ή μικρή ομάδα παραδειγμάτων (mini-batch).
2. Τα βαθμωτά κάθε παραδείγματος κανονικοποιούνται (κόβονται) σύμφωνα με το κανονικό τους για να περιοριστεί η μέγιστη επίδραση.
3. Στη συνολική κανονικοποιημένη βαθμωτή προστίθεται τυχαίος θόρυβος, συνήθως γκαουσιανός, με διασπορά που εξαρτάται από τις παραμέτρους ιδιωτικότητας.
4. Η ενημέρωση των παραμέτρων του μοντέλου γίνεται με τη χρήση του θορυβώδους βαθμωτού.

Έτσι, ο θόρυβος διασφαλίζει ότι οι αλλαγές στο σύνολο εκπαίδευσης δεν οδηγούν σε σημαντικές αλλαγές στο μοντέλο, διασφαλίζοντας επίσημα τη διαφορική ιδιωτικότητα.