Что такое safety classifier на выходе диалога?

Safety classifier на выходе диалога — это компонент, который оценивает, насколько ответ или действие системы безопасны и не содержат нежелательного, вредоносного или неподобающего контента.

В системах диалогового ИИ safety classifier помогает:

• Отфильтровывать токсичные, оскорбительные или опасные ответы.
• Предотвращать утечку личных данных или конфиденциальной информации.
• Обеспечивать соответствие этическим и юридическим нормам.

Обычно это модель машинного обучения, обученная на размеченных данных с примерами безопасных и небезопасных ответов. На выходе она выдает вероятность или метку, указывающую, можно ли считать ответ безопасным для пользователя.

Пример применения: после генерации ответа диалоговой системой, safety classifier проверяет его. Если ответ признан небезопасным, система может заменить его на нейтральный или запросить повторный генератор.