Jailbreak va noaniq prompt injektsiyasi nima?

AI modellari kontekstida jailbreak — bu modelning o'rnatilgan cheklovlari yoki filtrlashlarini aylanib o'tish usuli bo'lib, uni istalmagan yoki taqiqlangan harakatlarni bajarishga majbur qilish uchun ishlatiladi. Masalan, foydalanuvchi modelga maxfiy ma'lumotlarni oshkor qilish yoki zararli kod yaratish uchun so'rov yuborishi mumkin, bu yerda o'rnatilgan cheklovlarga qaramay.

Bilvosita prompt injektsiyasi — bu AI modellarga nisbatan hujumlarning bir turi bo'lib, zararli kirish to'g'ridan-to'g'ri so'rovga kiritilmay, balki bilvosita kanallar orqali, masalan, model tashqi manbalardan (veb-sahifalar, hujjatlar va boshqalar) o'qigan ma'lumotlar orqali amalga oshiriladi. Shu tarzda, hujumchi model bilan to'g'ridan-to'g'ri muloqot qilmasdan uning xatti-harakatlariga ta'sir o'tkazishi mumkin.

Ikkala texnika ham adversarial hujumlar toifasiga kiradi va AI’dan foydalanishda xavfsizlik va maxfiylikni ta'minlash uchun muhimdir.