Kas ir jailbreak un netiešas prompt injekcija?

Jailbreak AI modeļu kontekstā ir metode, kā apiet iebūvētos ierobežojumus vai filtrus, lai liktu modelim veikt nevēlamas vai aizliegtas darbības. Piemēram, lietotājs var formulēt pieprasījumu tā, lai modelis atklātu konfidenciālu informāciju vai ģenerētu kaitīgu kodu, neskatoties uz iebūvētiem ierobežojumiem.

Netieša promptu injekcija ir uzbrukumu veids AI modeļiem, kad kaitīga ievade netiek tieši ievadīta pieprasījumā, bet caur netiešiem kanāliem, piemēram, datus, kurus modelis lasa no ārējiem avotiem (tīmekļa lapām, dokumentiem utt.). Tādējādi uzbrucējs var ietekmēt modeļa uzvedību bez tiešas saskares ar to.

Abas tehnoloģijas pieder pie adversālo uzbrukumu kategorijas un ir svarīgas, nodrošinot drošību un privātumu, izmantojot AI.