Какие угрозы у federated learning (model inversion от gradients)?

Federated learning позволяет обучать модели на распределённых данных без их централизованного сбора, но при этом существует риск утечки информации через градиенты. Model inversion attack от gradients — это когда злоумышленник, имея доступ к обновлениям модели (градиентам), пытается восстановить исходные данные, на которых обучалась модель.

Основные угрозы:

• Восстановление приватных данных: По градиентам можно приблизительно восстановить изображения, тексты или другие чувствительные данные, особенно если данные однородны и модель небольшая.
• Атаки с использованием нескольких раундов: Накопление градиентов за несколько итераций повышает точность восстановления.
• Целевые атаки: Злоумышленник может специально формировать запросы или модели, чтобы облегчить инверсию.

Для защиты применяют методы дифференциальной приватности, шифрование градиентов (например, Secure Aggregation), ограничение размера и частоты обновлений, а также использование гомоморфного шифрования и других криптографических протоколов.