Какие методы дебиасинга модели (adversarial debiasing)?

Adversarial debiasing — это метод устранения предвзятости в моделях машинного обучения с помощью состязательного обучения. Основная идея — обучить основную модель предсказывать целевую переменную, одновременно обучая adversarial-модель, которая пытается предсказать защищённую характеристику (например, пол или расу) из выходов основной модели. Основная модель оптимизируется так, чтобы минимизировать ошибку предсказания и одновременно затруднять adversarial-модели угадывать защищённую характеристику.

Методы дебиасинга с использованием adversarial подхода:

• Состязательное обучение (Adversarial Training): основная модель и adversarial-модель обучаются совместно, где основная модель пытается «обмануть» adversarial.
• Регуляризация с adversarial loss: добавление в функцию потерь компонента, который штрафует модель за наличие информации о защищённой характеристике.
• Использование градиентного спуска с обратной связью: градиенты от adversarial-модели инвертируются при обновлении основной модели, чтобы уменьшить зависимость от защищённой характеристики.

Пример псевдокода:

# Основная модель f, adversarial модель g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Где lambda регулирует баланс между точностью и справедливостью.