Что такое model stealing attack?

Model stealing attack — это тип атаки на модели машинного обучения, при котором злоумышленник пытается восстановить или скопировать функциональность защищённой модели, имея доступ только к её входам и выходам (например, через API). Цель — получить собственную модель, которая ведёт себя похоже на оригинал, без необходимости иметь доступ к исходным данным или архитектуре.

Такой подход позволяет обойти ограничения лицензирования, снизить затраты на обучение модели или найти уязвимости. Для защиты применяют методы ограничения количества запросов, добавление шума в ответы, использование методов дифференциальной приватности и мониторинг аномальной активности.

Пример: если у вас есть модель, предоставляющая API для классификации изображений, злоумышленник может отправлять множество запросов с разными изображениями и собирать ответы, чтобы обучить собственную модель, имитирующую поведение оригинала.