Kas yra jailbreak ir netiesioginis prompt injekcija?

Jailbreak AI modelių kontekste yra būdas apeiti įmontuotus modelio apribojimus ar filtrus, siekiant priversti jį atlikti nenorimus ar draudžiamus veiksmus. Pavyzdžiui, naudotojas gali suformuluoti užklausą taip, kad modelis atskleistų konfidencialią informaciją arba sugeneruotų kenksmingą kodą, nepaisant įmontuotų apribojimų.

Netiesioginė promptų injekcija yra atakų prieš AI modelius rūšis, kai žalingas įvestis nėra tiesiogiai įdedama į užklausą, o per netiesioginius kanalus, pavyzdžiui, duomenis, kuriuos modelis skaito iš išorinių šaltinių (tinklalapių, dokumentų ir kt.). Taip užpuolikas gali paveikti modelio elgesį be tiesioginio sąlyčio su juo.

Abi technikos priklauso adversarial atakų kategorijai ir yra svarbios užtikrinant saugumą ir privatumo apsaugą naudojant AI.