Какие защиты от prompt injection вы знаете?

Защиты от prompt injection включают:

• Фильтрация и валидация входных данных: ограничение и проверка вводимых пользователем данных, чтобы исключить вредоносные команды.
• Использование шаблонов с фиксированными частями: отделение управляющих инструкций от пользовательского ввода, чтобы пользователь не мог изменить логику промпта.
• Контекстное ограничение: ограничение области действия промпта, чтобы модель не выходила за рамки ожидаемого поведения.
• Использование специальных токенов или маркеров для разграничения пользовательского ввода и системных инструкций.
• Постобработка вывода модели: проверка и фильтрация ответов на наличие нежелательных команд.

Пример: если у вас есть шаблон "Ответь на вопрос: {user_input}", то важно, чтобы {user_input} не содержал команд типа "Ignore previous instructions" или "Delete all". Для этого можно экранировать или фильтровать такие фразы.