Šta je jailbreak i indirektna injekcija prompta?

Jailbreak u kontekstu modela veštačke inteligencije je metoda za zaobilaženje ugrađenih ograničenja ili filtera modela s ciljem da ga natera da izvrši neželjene ili zabranjene radnje. Na primer, korisnik može formulisati zahtev tako da model otkrije poverljive informacije ili generiše zlonamerni kod, uprkos ugrađenim ograničenjima.

Neizravna injekcija prompta je vrsta napada na modele veštačke inteligencije, gde zlonamerni unos nije direktno ubačen u zahtev, već putem neizravnih kanala, na primer, podataka koje model čita iz spoljašnjih izvora (web stranice, dokumenti itd.). Na taj način, napadač može uticati na ponašanje modela bez direktne interakcije s njim.

Obe tehnike pripadaju kategoriji adversarial napada i važne su za obezbeđivanje bezbednosti i privatnosti pri korišćenju veštačke inteligencije.