Care sunt metodele de de-biasedare a modelului (de-biasedare adversarială)?

Debiasing adversarial este o metodă de eliminare a părtinirilor în modelele de învățare automată prin antrenament competitiv. Ideea principală este de a antrena un model principal pentru a prezice variabila țintă, în timp ce se antrenează un model adversarial care încearcă să prezică o caracteristică protejată (de exemplu, sexul sau rasa) din ieșirile modelului principal. Modelul principal este optimizat pentru a minimiza eroarea de predicție și, în același timp, pentru a îngreuna modelul adversarial să ghicească caracteristica protejată.

Metode de debiasing utilizând abordarea adversarială:

• Antrenament adversarial: modelul principal și modelul adversarial sunt antrenați împreună, unde modelul principal încearcă să 'înșele' modelul adversarial.
• Regularizare cu pierdere adversarială: adăugarea unui component în funcția de pierdere care penalizează modelul pentru deținerea de informații despre caracteristica protejată.
• Utilizarea gradient descent cu feedback: gradientele de la modelul adversarial sunt inversate în timpul actualizării modelului principal pentru a reduce dependența de caracteristica protejată.

Exemplu de pseudocod:

# Model principal f, model adversarial g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Unde lambda reglează echilibrul între precizie și justiție.