Что такое disparate impact?

Disparate impact — это концепция в области справедливости машинного обучения и этики ИИ, которая описывает ситуацию, когда алгоритм или модель оказывает непропорционально негативное влияние на определённую группу людей, даже если в модели нет явной предвзятости (например, по признаку расы, пола или возраста).

Это косвенная дискриминация: модель может использовать нейтральные на первый взгляд признаки, но результат приводит к систематическому ущемлению прав или возможностей одной из групп.

Пример: кредитный скоринг, где алгоритм отказывает чаще представителям определённой этнической группы, хотя напрямую этническая принадлежность не используется.

Для выявления disparate impact применяют метрики, например, сравнивают долю положительных решений для разных групп. Если разница слишком велика, говорят о наличии disparate impact и необходимости корректировки модели для повышения справедливости.