Koje su metode za uklanjanje pristrasnosti iz modela (adversarial debiasing)?

Адверсаријално дебајасинг је метода за уклањање предрасуда у моделима машинског учења помоћу такмичког тренинга. Основна идеја је тренирати главни модел за предвиђање циљне променљиве, истовремено тренирајући adversarial модел који покушава да предвиди заштићену карактеристику (на пример, пол или расу) из излаза главног модела. Главни модел се оптимизује тако да минимизира грешку у предвиђању и истовремено отежава adversarial моделу да погоде заштићену карактеристику.

Методе дебајасинга коришћењем adversarial приступа:

• Такмички тренинг: главни модел и adversarial модел се заједнички тренирају, где главни модел покушава да 'завари' adversarial.
• Регуларизација са adversarial губитком: додаје се компонента у функцију губитка која казни модел због присуства информација о заштићеној карактеристици.
• Користећи градијентни спуст са повратном информацијом: градијенти од adversarial модела се инвертују током ажурирања главног модела како би се смањила зависност од заштићене карактеристике.

Пример псевдокода:

# Главни модел f, adversarial модел g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Где lambda регулише баланс између прецизности и праведности.