Ce este jailbreak-ul și injecția de prompt indirect?

Jailbreak în contextul modelelor de IA este o metodă de a ocoli restricțiile sau filtrele încorporate în model, pentru a-l determina să execute acțiuni nedorite sau interzise. De exemplu, un utilizator poate formula o solicitare astfel încât modelul să dezvăluie informații confidențiale sau să genereze cod malițios, în ciuda restricțiilor încorporate.

Injecția indirectă de prompturi este o variantă de atacuri asupra modelelor de IA, în care intrarea malițioasă nu este introdusă direct în solicitare, ci prin canale indirecte, cum ar fi datele pe care modelul le citește din surse externe (paginile web, documente etc.). Astfel, un atacator poate influența comportamentul modelului fără a interacționa direct cu acesta.

Ambele tehnici aparțin categoriei atacurilor adversariale și sunt importante pentru asigurarea securității și confidențialității în utilizarea IA.