Was ist Jailbreak und indirekte Prompt-Injektion?

Jailbreak im Kontext von KI-Modellen ist eine Methode, um die eingebauten Einschränkungen oder Filter des Modells zu umgehen, um es dazu zu bringen, unerwünschte oder verbotene Aktionen auszuführen. Zum Beispiel kann ein Benutzer eine Anfrage formulieren, sodass das Modell vertrauliche Informationen preisgibt oder schädlichen Code generiert, trotz der eingebauten Einschränkungen.

Indirekte Prompt-Injektion ist eine Variante von Angriffen auf KI-Modelle, bei denen schädliche Eingaben nicht direkt in die Anfrage eingebracht werden, sondern über indirekte Kanäle, z.B. durch Daten, die das Modell aus externen Quellen liest (Webseiten, Dokumente usw.). Auf diese Weise kann ein Angreifer das Verhalten des Modells beeinflussen, ohne direkt mit ihm zu interagieren.

Beide Techniken gehören zur Kategorie der adversarialen Angriffe und sind wichtig, um Sicherheit und Privatsphäre bei der Nutzung von KI zu gewährleisten.