Какие метрики fairness вы считали в проде?

В продакшн-среде для оценки fairness (справедливости) моделей машинного обучения часто используют несколько метрик, в зависимости от контекста и задачи. Вот основные из них:

• Demographic Parity (Statistical Parity) — проверяет, что вероятность положительного исхода одинаковая для всех групп (например, по полу или расе).
• Equal Opportunity — требует, чтобы модель имела одинаковую полноту (recall) для всех групп, то есть одинаково хорошо выявляла положительные случаи.
• Equalized Odds — требует, чтобы и полнота (recall), и точность (false positive rate) были равны для всех групп.
• Predictive Parity — проверяет, что точность (precision) положительных предсказаний одинакова для всех групп.
• Calibration within groups — модель должна быть откалибрована отдельно для каждой группы, чтобы вероятность предсказания соответствовала реальному шансу.

В продакшне часто комбинируют несколько метрик, чтобы получить более полное представление о fairness. Также важна интерпретация результатов с учетом бизнес-контекста и возможных компромиссов между fairness и точностью.

Пример: в кредитном скоринге можно проверить, что вероятность одобрения кредита не зависит от этнической принадлежности (demographic parity), а также что модель одинаково хорошо выявляет дефолтных заемщиков во всех группах (equal opportunity).