Cos'è il jailbreak e l'iniezione di prompt indiretti?

Jailbreak nel contesto dei modelli di IA è un metodo per aggirare le restrizioni o i filtri incorporati nel modello al fine di far eseguire azioni indesiderate o proibite. Ad esempio, un utente può formulare una richiesta in modo che il modello riveli informazioni riservate o generi codice dannoso, nonostante le restrizioni integrate.

L'iniezione di prompt indiretta è una variante di attacchi ai modelli di IA, in cui l'input dannoso non viene inserito direttamente nella richiesta, ma attraverso canali indiretti, come dati che il modello legge da fonti esterne (pagine web, documenti, ecc.). In questo modo, un attaccante può influenzare il comportamento del modello senza interagire direttamente con esso.

Entrambe le tecniche appartengono alla categoria degli attacchi adversariali e sono importanti per garantire sicurezza e privacy nell'uso dell'IA.