Τι είναι το jailbreak και η έγχυση έμμεσων προτροπών;

Το jailbreak στο πλαίσιο των μοντέλων τεχνητής νοημοσύνης είναι μια μέθοδος παράκαμψης των ενσωματωμένων περιορισμών ή φίλτρων του μοντέλου, με σκοπό να το αναγκάσει να εκτελέσει ανεπιθύμητες ή απαγορευμένες ενέργειες. Για παράδειγμα, ένας χρήστης μπορεί να διατυπώσει ένα αίτημα έτσι ώστε το μοντέλο να αποκαλύψει εμπιστευτικές πληροφορίες ή να δημιουργήσει κακόβουλο κώδικα, παρά τους ενσωματωμένους περιορισμούς.

Η έμμεση εισαγωγή prompts είναι μια παραλλαγή επιθέσεων σε μοντέλα τεχνητής νοημοσύνης, όπου η κακόβουλη εισροή δεν εισάγεται άμεσα στο αίτημα, αλλά μέσω έμμεσων καναλιών, όπως δεδομένα που το μοντέλο διαβάζει από εξωτερικές πηγές (ιστοσελίδες, έγγραφα κ.λπ.). Έτσι, ένας επιτιθέμενος μπορεί να επηρεάσει τη συμπεριφορά του μοντέλου χωρίς να αλληλεπιδρά άμεσα μαζί του.

Οι δύο τεχνικές ανήκουν στην κατηγορία των επιθετικών επιθέσεων και είναι σημαντικές για την εξασφάλιση της ασφάλειας και της ιδιωτικότητας κατά τη χρήση της τεχνητής νοημοσύνης.