Welche Methoden gibt es für das Debiasing von Modellen (adversariales Debiasing)?

Adversariales Debiasing ist eine Methode zur Beseitigung von Vorurteilen in maschinellen Lernmodellen durch adversariales Training. Die Hauptidee ist, ein Hauptmodell zu trainieren, um die Zielvariable vorherzusagen, während gleichzeitig ein adversariales Modell trainiert wird, das versucht, eine geschützte Eigenschaft (z.B. Geschlecht oder Rasse) aus den Ausgaben des Hauptmodells vorherzusagen. Das Hauptmodell wird so optimiert, dass es den Vorhersagefehler minimiert und gleichzeitig das adversariale Modell daran hindert, die geschützte Eigenschaft zu erraten.

Methoden des Debiasings mit adversarialem Ansatz:

• Adversariales Training: Das Hauptmodell und das adversariale Modell werden gemeinsam trainiert, wobei das Hauptmodell versucht, das adversariale Modell zu 'täuschen'.
• Regularisierung mit adversarialer Verlustfunktion: Hinzufügen eines Komponenten zur Verlustfunktion, der das Modell dafür bestraft, Informationen über die geschützte Eigenschaft zu haben.
• Verwendung von Gradientenabstieg mit Rückmeldung: Die Gradienten des adversarialen Modells werden bei der Aktualisierung des Hauptmodells invertiert, um die Abhängigkeit von der geschützten Eigenschaft zu verringern.

Beispiel für Pseudocode:

# Hauptmodell f, adversariales Modell g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Wo lambda das Gleichgewicht zwischen Genauigkeit und Gerechtigkeit reguliert.