Что такое membership inference attack?

Membership inference attack — это тип атаки на модели машинного обучения, при которой злоумышленник пытается определить, входили ли конкретные данные в тренировочный набор модели.

Такую атаку можно использовать для выявления конфиденциальной информации, например, если модель обучалась на приватных данных пользователей.

Принцип работы:

• Атакующий подаёт на вход модели определённые образцы данных.
• Анализирует ответы модели (например, вероятности классов).
• На основе этих ответов пытается определить, были ли эти образцы в тренировочном наборе.

Это важно учитывать при разработке моделей, особенно в областях с чувствительными данными (медицина, финансы), и применять методы защиты, например, дифференциальную приватность.