Что такое data poisoning и backdoor attacks?

Data poisoning — это тип атаки на модели машинного обучения, при которой злоумышленник внедряет вредоносные или искажённые данные в обучающий набор. Цель — ухудшить качество модели или заставить её вести себя неправильно на определённых входах. Например, если в наборе данных для распознавания лиц добавить поддельные метки, модель может начать ошибочно классифицировать людей.

Backdoor attacks (атаки с «закладкой») — это разновидность data poisoning, при которой модель обучается так, чтобы при наличии определённого триггера (например, особого паттерна на изображении) она выдавалa заранее заданный результат. В обычных условиях модель работает корректно, но при активации «закладки» поведение меняется. Это опасно, так как такие модели сложно обнаружить и они могут использоваться для обхода систем безопасности.

Обе атаки направлены на нарушение доверия к модели и требуют специальных методов защиты, таких как проверка данных, robust training и мониторинг поведения модели.