Jailbreak жана аралык prompt injection деген эмне?
sobes.tech AI
AIден жооп
AI моделдеринин контекстинде jailbreak — бул моделдин ички чектөөлөрүн же фильтрлерин айлануу ыкмасы, анын натыйжасында ал каалаган же тыюу салынган аракеттерди аткара алат. Мисалы, колдонуучу моделге сырдуу маалыматтарды ачыктоого же зыяндуу код түзүүгө буйрук бере алат, ички чектөөлөргө карабастан.
Тикелей эмес prompt injection — бул AI моделдерине каршы жасалган чабуулдардын бир түрү, анда зыяндуу киргизүү түздөн-түз суроого киргизилбейт, тескерисинче, модел сырттан алынган маалыматтар аркылуу (веб-баракчалар, документтер жана башка) окуйт. Ошентип, кол салуучу моделдин жүрүм-турумун түздөн-түз аралашпастан таасир эте алат.
Эки техника да adversarial чабуулдар категориясына кирет жана AI колдонууда коопсуздукту жана купуялуулукту камсыз кылуу үчүн маанилүү.