Какво е jailbreak и индиректно въвеждане на подкана?

Jailbreak в контекста на модели за изкуствен интелект е метод за заобикаляне на вградените ограничения или филтри на модела с цел да го накара да изпълнява нежелани или забранени действия. Например, потребител може да формулира заявка така, че моделът да разкрие поверителна информация или да генерира вреден код, въпреки вградените ограничения.

Непряката инжекция на подсказки е разновидност на атаки срещу модели за изкуствен интелект, при която вредният вход не се вкарва директно в заявката, а чрез косвени канали, например данни, които моделът чете от външни източници (уеб страници, документи и т.н.). По този начин злонамерен атакуващ може да повлияе на поведението на модела, без да взаимодейства директно с него.

И двете техники принадлежат към категорията на adversarial атаки и са важни за осигуряване на сигурността и поверителността при използването на ИИ.