Что такое guardrail metrics?

Guardrail metrics — это метрики, которые используются для мониторинга и контроля качества моделей машинного обучения или экспериментов, чтобы предотвратить деградацию производительности или нежелательные эффекты.

Их задача — служить «ограждением» (guardrail), то есть сигнализировать, если модель начинает работать хуже ожидаемого или если эксперимент приводит к негативным последствиям.

Примеры guardrail metrics:

• Метрики качества модели (точность, F1, AUC), которые не должны падать ниже определённого порога.
• Метрики стабильности (например, распределение предсказаний), чтобы выявить дрейф данных.
• Метрики бизнес-эффектов (например, конверсия, отток), которые показывают влияние модели на реальные показатели.

В A/B-тестах guardrail metrics помогают убедиться, что новая версия модели не ухудшает критичные аспекты, даже если основная метрика улучшается.

Таким образом, guardrail metrics — это инструмент для безопасного внедрения и эксплуатации моделей, минимизирующий риски.