Mi az a jailbreak és az indirekt prompt injekció?

A jailbreak az AI-modellek kontextusában egy olyan módszer, amellyel megkerülhetők a modellbe épített korlátozások vagy szűrők, és így arra késztethetők, hogy nem kívánt vagy tiltott műveleteket hajtsanak végre. Például egy felhasználó úgy fogalmazhat meg kérdést, hogy a modell bizalmas információkat tárjon fel vagy káros kódot generáljon, a beépített korlátozások ellenére.

A közvetett prompt-injektálás az AI-modellek elleni támadások egyik változata, amikor a káros bemenet nem közvetlenül a kérésbe kerül, hanem közvetett csatornákon keresztül, például olyan adatokon keresztül, amelyeket a modell külső forrásokból olvas (weboldalak, dokumentumok stb.). Így a támadó befolyásolhatja a modell viselkedését anélkül, hogy közvetlenül lépne vele kapcsolatba.

Mindkét technika az adversarial támadások kategóriájába tartozik, és fontos a biztonság és a magánélet védelme érdekében az AI használata során.