Ի՞նչ է jailbreak-ը և անուղղակի prompt-injection-ը։
sobes.tech AI
Պատասխան AI-ից
AI մոդելների համատեքստում jailbreak-ը մեթոդ է, որը թույլ է տալիս շրջանցել մոդելի ներսում տեղադրված սահմանափակումներն կամ ֆիլտրերը՝ ստիպելով նրան կատարել ցանկալի չլինող կամ արգելված գործողություններ։ Օրինակ, օգտվողը կարող է ձևակերպել հարցում այնպես, որ մոդելը բացահայտի գաղտնի տեղեկություններ կամ ստեղծի վնասակար կոդ՝ չնայած տեղադրված սահմանափակումներին։
Անուղղակի prompt-injection-ը՝ դա AI մոդելների վրա հարձակումների տեսակ է, երբ վնասակար մուտքը չի ներմուծվում ուղղակի հարցում, այլ անուղղակի ալիքների միջոցով, օրինակ՝ տվյալներ, որոնք մոդելը կարդում է արտաքին աղբյուրներից (վեբ էջեր, փաստաթղթեր և այլն)։ Այսպիսով, հարձակումագործը կարող է ազդել մոդելի վարքագծի վրա՝ առանց նրա հետ ուղղակի շփվելու։
Երկու տեխնիկան պատկանում են adversarial հարձակումների կատեգորիա, և կարևոր են անվտանգության և գաղտնիության ապահովման համար AI-ի օգտագործման ժամանակ։