Jaké jsou metody odstraňování předsudků z modelu (adversarial debiasing)?

Adversariální odstraňování předsudků je metoda odstraňování předsudků v modelech strojového učení pomocí soutěžního tréninku. Hlavní myšlenkou je trénovat hlavní model k předpovědi cílové proměnné, zatímco současně trénuje adversariální model, který se snaží předpovědět chráněnou vlastnost (například pohlaví nebo rasu) z výstupů hlavního modelu. Hlavní model je optimalizován tak, aby minimalizoval chybu předpovědi a zároveň ztížil adversariálnímu modelu odhadnout chráněnou vlastnost.

Metody odstraňování předsudků s použitím adversariálního přístupu:

• Soutěžní trénink: hlavní model a adversariální model jsou trénovány společně, přičemž hlavní model se snaží 'ošálit' adversariální model.
• Regularizace s adversariální ztrátou: přidání do funkce ztráty komponenty, která penalizuje model za přítomnost informací o chráněné vlastnosti.
• Použití gradientního sestupu s zpětnou vazbou: gradienty z adversariálního modelu jsou invertovány při aktualizaci hlavního modelu, aby se snížila závislost na chráněné vlastnosti.

Příklad pseudokódu:

# Hlavní model f, adversariální model g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Kde lambda reguluje rovnováhu mezi přesností a spravedlností.