Milyen fenyegetések vannak a federated learningben (gradiensekből történő modell-inverzió)?

Federated learning позволяет обучать модели на распределённых данных без их централизованного сбора, но при этом существует риск утечки информации через градиенты. Model inversion attack от gradients — это когда злоумышленник, имея доступ к обновлениям модели (градиентам), пытается восстановить исходные данные, на которых обучалась модель.

Основные угрозы:

• Восстановление приватных данных: По градиентам можно приблизительно восстановить изображения, тексты или другие чувствительные данные, особенно если данные однородны и модель небольшая.
• Атаки с использованием нескольких раундов: Накопление градиентов за несколько итераций повышает точность восстановления.
• Целевые атаки: Злоумышленник может специально формировать запросы или модели, чтобы облегчить инверсию.

Для защиты применяют методы дифференциальной приватности, шифрование градиентов (например, Secure Aggregation), ограничение размера и частоты обновлений, а также использование гомоморфного шифрования и других криптографических протоколов.