Co je jailbreak a nepřímá injekce promptu?

Jailbreak v kontextu modelů umělé inteligence je metoda obejití vestavěných omezení nebo filtrů modelu s cílem donutit jej vykonávat nežádoucí nebo zakázané činnosti. Například uživatel může formulovat požadavek tak, aby model odhalil důvěrné informace nebo generoval škodlivý kód, navzdory vestavěným omezením.

Nepřímá injekce promptů je varianta útoků na modely AI, kdy škodlivý vstup není vložen přímo do požadavku, ale přes nepřímé kanály, například data, která model čte z externích zdrojů (webové stránky, dokumenty atd.). Tímto způsobem může útočník ovlivnit chování modelu, aniž by s ním přímo komunikoval.

Obě techniky patří do kategorie adversariálních útoků a jsou důležité pro zajištění bezpečnosti a soukromí při používání AI.