Jailbreak və dolayı prompt injeksiyası nədir?

Yapay zəka modelləri kontekstində jailbreak, modelin daxili məhdudiyyətlərini və ya filtrlərini aşmaq üçün istifadə olunan bir metod olub, onun istənməyən və ya qadağan olunmuş fəaliyyətləri yerinə yetirməsinə səbəb olur. Məsələn, istifadəçi modelin gizli məlumatları açıqlamasını və ya zərərli kod yaratmasını təmin etmək üçün sorğu formalaşdıra bilər, yerli məhdudiyyətlərə baxmayaraq.

İndirect prompt injection — bu, yapay zəka modellərinə qarşı hücumların bir növüdür; burada zərərli giriş birbaşa sorğuya daxil edilmir, əvəzində, modelin xarici mənbələrdən (veb səhifələr, sənədlər və s.) oxuduğu məlumatlar vasitəsilə həyata keçirilir. Beləliklə, hücum edən modelin davranışına təsir edə bilər, onunla birbaşa əlaqə qurmayaraq.

Hər iki texnika adversarial hücumlar kateqoriyasına aiddir və AI istifadə edərkən təhlükəsizlik və məxfilik təminatı üçün vacibdir.