Что такое fairness в ML и какие определения существуют (demographic parity, equalized odds)?

Fairness (справедливость) в машинном обучении — это концепция, направленная на предотвращение дискриминации и обеспечение равного отношения к разным группам пользователей или объектов.

Основные определения fairness:

• Demographic Parity (DP) — требует, чтобы вероятность положительного исхода (например, одобрения кредита) была одинаковой для всех групп, независимо от защищённой характеристики (пол, раса и т.д.).

  Формально: P(ŷ=1 | A=0) = P(ŷ=1 | A=1), где A — защищённая группа.

• Equalized Odds (EO) — требует, чтобы модель имела одинаковые показатели истинно-положительных и ложно-положительных ошибок для всех групп.

  Формально: P(ŷ=1 | Y=y, A=0) = P(ŷ=1 | Y=y, A=1) для y ∈ {0,1}.

Другие определения включают:

• Equal Opportunity — частный случай EO, где равенство требуется только для истинно-положительных результатов.
• Calibration — модель должна быть откалибрована одинаково для всех групп.

Выбор метрики fairness зависит от контекста и целей. Часто разные определения конфликтуют, и достижение одной справедливости может ухудшить другую.

Пример: если банк хочет, чтобы вероятность одобрения кредита была одинаковой для всех рас (DP), это может привести к разным ошибкам для групп, что нарушит EO.

Таким образом, fairness — это баланс между точностью модели и этическими требованиями к её применению.