Что такое jailbreak и indirect prompt injection?

Jailbreak в контексте моделей ИИ — это метод обхода встроенных ограничений или фильтров модели с целью заставить её выполнять нежелательные или запрещённые действия. Например, пользователь может сформулировать запрос так, чтобы модель раскрыла конфиденциальную информацию или сгенерировала вредоносный код, несмотря на встроенные ограничения.

Indirect prompt injection — это разновидность атак на модели ИИ, когда вредоносный ввод внедряется не напрямую в запрос, а через косвенные каналы, например, через данные, которые модель читает из внешних источников (веб-страниц, документов и т.п.). Таким образом, злоумышленник может повлиять на поведение модели, не взаимодействуя с ней напрямую.

Обе техники относятся к категории adversarial атак и важны для обеспечения безопасности и приватности при использовании ИИ.