Welke methoden worden gebruikt voor het debiasen van modellen (adversarial debiasing)?

Adversarial debiasing is een methode om vooroordelen in machine learning-modellen te verwijderen door middel van competitieve training. Het hoofddoel is om een hoofdmachine te trainen die de doelvariabele voorspelt, terwijl tegelijkertijd een adversarial-model wordt getraind dat probeert een beschermde eigenschap (bijvoorbeeld geslacht of ras) te voorspellen uit de outputs van het hoofdmachine. Het hoofdmachine wordt geoptimaliseerd om de voorspellingsfout te minimaliseren en tegelijkertijd het moeilijk te maken voor het adversarial-model om de beschermde eigenschap te raden.

Methoden voor debiasing met behulp van de adversariale aanpak:

• Adversarial training: het hoofdmachine en het adversarial-model worden samen getraind, waarbij het hoofdmachine probeert het adversarial-model te 'bedriegen'.
• Regularisatie met adversarial loss: een component wordt toegevoegd aan de verliesfunctie die het model bestraft voor het hebben van informatie over de beschermde eigenschap.
• Gebruik van gradient descent met feedback: de gradients van het adversarial-model worden geïnverteerd tijdens de update van het hoofdmachine om de afhankelijkheid van de beschermde eigenschap te verminderen.

Voorbeeld van pseudocode:

# Hoofdmachine f, adversarial model g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Waar lambda de balans regelt tussen nauwkeurigheid en rechtvaardigheid.