Что такое model stealing attack и как ему противостоять?

Model stealing attack — это атака, при которой злоумышленник пытается воссоздать или скопировать модель машинного обучения, имея доступ только к её API (например, через запросы и ответы).

Как это работает:

• Атакующий отправляет множество входных данных в модель и получает ответы.
• На основе этих пар вход-выход строит собственную модель, имитирующую поведение оригинала.

Почему это опасно:

• Кража интеллектуальной собственности.
• Возможность обхода защиты и создания вредоносных моделей.

Способы защиты:

• Ограничение количества запросов и скорости.
• Добавление шума или случайных изменений в ответы (дифференциальная приватность).
• Использование методов аутентификации и авторизации.
• Мониторинг аномальной активности.

Таким образом, защита требует баланса между доступностью сервиса и безопасностью.