Mis on jailbreak ja kaudne prompt-injektsioon?

Jailbreak tehisintellekti mudelite kontekstis on meetod, kuidas mööda minna mudeli sisseehitatud piirangutest või filtritest, et sundida seda täitma soovimatuid või keelatud tegevusi. Näiteks võib kasutaja sõnastada päringu nii, et mudel avaldaks konfidentsiaalset teavet või genereeriks kahjulikku koodi, hoolimata sisseehitatud piirangutest.

Kaudne prompt-injektioon on AI-mudelite rünnakute liik, kus kahjulik sisend ei sisaldu otse päringus, vaid kaudsete kanalite kaudu, näiteks andmete kaudu, mida mudel loeb välisest allikast (veebilehed, dokumendid jne). Sel viisil saab ründaja mõjutada mudeli käitumist ilma sellega otse suhelda.

Mõlemad tehnikad kuuluvad adversarial-rünnakute kategooriasse ning on olulised turvalisuse ja privaatsuse tagamiseks AI kasutamisel.