Čo je jailbreak a nepriama injekcia promptu?

Jailbreak v kontexte modelov umelej inteligencie je metóda obchádzania zabudovaných obmedzení alebo filtrov modelu s cieľom donútiť ho vykonávať neželané alebo zakázané činnosti. Napríklad používateľ môže formulovať požiadavku tak, aby model odhalil dôverné informácie alebo generoval škodlivý kód, napriek zabudovaným obmedzeniam.

Nepriama injekcia promptov je varianta útokov na modely AI, keď škodlivý vstup nie je priamo vložený do požiadavky, ale cez nepriame kanály, napríklad údaje, ktoré model číta z externých zdrojov (webové stránky, dokumenty atď.). Týmto spôsobom môže útočník ovplyvniť správanie modelu bez priamej interakcie s ním.

Obe techniky patria do kategórie adversariálnych útokov a sú dôležité pre zabezpečenie bezpečnosti a súkromia pri používaní AI.