Que proteções contra injeção de prompt você conhece?

As proteções contra injeção de prompt incluem:

• Filtragem e validação de dados de entrada: limitar e verificar os dados inseridos pelo usuário para excluir comandos maliciosos.
• Uso de modelos com partes fixas: separar as instruções de controle da entrada do usuário para que o usuário não possa alterar a lógica do prompt.
• Restrição de contexto: limitar o escopo do prompt para que o modelo não ultrapasse o comportamento esperado.
• Uso de tokens ou marcadores especiais para delimitar a entrada do usuário e as instruções do sistema.
• Pós-processamento da saída do modelo: verificar e filtrar respostas em busca de comandos indesejados.

Exemplo: se você tem um modelo "Responda à pergunta: {user_input}", é importante que {user_input} não contenha comandos como "[PROMPT_INJECTION]" ou "Delete all". Para isso, você pode escapar ou filtrar essas frases.