Что такое adversarial example и FGSM атака?

Adversarial example — это входные данные, специально модифицированные таким образом, чтобы ввести модель машинного обучения в заблуждение и заставить её сделать ошибочный вывод. Такие примеры выглядят почти идентично обычным данным для человека, но вызывают неправильную работу модели.

FGSM (Fast Gradient Sign Method) — один из простейших и популярных методов создания adversarial examples. Он использует градиенты функции потерь модели по входу, чтобы добавить к исходному примеру небольшое возмущение в направлении, максимально увеличивающем ошибку модели. Формально:

[ X_{adv} = X + \epsilon \cdot \text{sign}(\nabla_X J(\theta, X, y)) ]

где:

• (X) — исходный вход,
• (\epsilon) — величина возмущения,
• (J) — функция потерь,
• (\theta) — параметры модели,
• (y) — истинная метка.

Таким образом, FGSM быстро генерирует примеры, которые эффективно обманывают модель, что важно для оценки её устойчивости и разработки методов защиты.