Что такое adversarial examples и FGSM-атака?

Adversarial examples — это специально созданные входные данные для моделей машинного обучения, которые выглядят почти идентично обычным данным, но заставляют модель ошибочно классифицировать или принимать неправильные решения. Такие примеры показывают уязвимости нейросетей.

FGSM (Fast Gradient Sign Method) — один из простых и популярных методов создания adversarial examples. Идея в том, чтобы добавить к исходному изображению небольшое искажение в направлении градиента функции потерь по входу, что максимизирует ошибку модели.

Формула FGSM:

x_{adv} = x + \epsilon \cdot \text{sign}(\nabla_x J(\theta, x, y))

где:

• x — исходное изображение,
• \epsilon — небольшое число, контролирующее размер искажения,
• J — функция потерь,
• \theta — параметры модели,
• y — правильная метка.

Таким образом, FGSM быстро генерирует пример, который вводит модель в заблуждение, что важно для оценки устойчивости и безопасности моделей.