O que é jailbreak e injeção de prompt indireto?

Jailbreak no contexto de modelos de IA é um método de contornar as restrições ou filtros incorporados no modelo com o objetivo de fazê-lo realizar ações indesejadas ou proibidas. Por exemplo, um usuário pode formular uma solicitação de modo a que o modelo revele informações confidenciais ou gere código malicioso, apesar das restrições incorporadas.

A injeção de prompt indireta é uma variante de ataques a modelos de IA, onde a entrada maliciosa não é inserida diretamente na solicitação, mas através de canais indiretos, como dados que o modelo lê de fontes externas (páginas web, documentos, etc.). Assim, um atacante pode influenciar o comportamento do modelo sem interagir diretamente com ele.

Ambas as técnicas pertencem à categoria de ataques adversariais e são importantes para garantir a segurança e a privacidade ao usar IA.