Какво е adversarial пример и атака FGSM?

Adversarialen пример е входни данни, които са специално модифицирани така, че да заблудят модел за машинно обучение и да го накарат да направи грешен извод. Тези примери изглеждат почти идентични с обикновените данни за човек, но причиняват неправилна работа на модела.

FGSM (Fast Gradient Sign Method) е един от най-простите и популярни методи за създаване на adversarialни примери. Той използва градиентите на функцията за загуба на модела спрямо входа, за да добави малко смущение в посоката, която максимално увеличава грешката на модела. Формално:

[ X_{adv} = X + \epsilon \cdot \text{sign}(\nabla_X J(\theta, X, y)) ]

където:

• (X) е оригиналният вход,
• (\epsilon) е големината на смущението,
• (J) е функцията за загуба,
• (\theta) са параметрите на модела,
• (y) е истинската етикета.

По този начин, FGSM бързо генерира примери, които ефективно заблуждават модела, което е важно за оценка на неговата устойчивост и разработване на защитни методи.