Kokie yra modelio debaisingo metodai (priešpriešinis debaising)?

Adversarinis šališkumo šalinimas yra metodas, skirtas pašalinti išankstinius nusistatymus mašinų mokymosi modeliuose naudojant konkurencinį mokymąsi. Pagrindinė idėja yra mokyti pagrindinį modelį prognozuoti tikslinę kintamąjį, tuo pačiu metu mokant priešpriešinį modelį, kuris bando prognozuoti apsaugotą savybę (pavyzdžiui, lytį ar rasę) iš pagrindinio modelio išėjimų. Pagrindinis modelis optimizuojamas taip, kad sumažintų prognozės klaidą ir tuo pačiu sudėtingintų priešpriešinio modelio galimybes atspėti apsaugotą savybę.

Priešpriešinio požiūrio metodai šalinant šališkumą:

• Konkurencinis mokymas: pagrindinis modelis ir priešpriešinis modelis mokomi kartu, kur pagrindinis modelis stengiasi 'apgauti' priešpriešinį modelį.
• Reguliariacija su priešpriešinio nuostoliu: prie nuostolio funkcijos pridedamas komponentas, kuris baudžia modelį už informacijos apie apsaugotą savybę turėjimą.
• Naudojant gradientų nusileidimą su atsiliepimu: priešpriešinio modelio gradientai yra inversuojami atnaujinant pagrindinį modelį, siekiant sumažinti priklausomybę nuo apsaugotos savybės.

Pavyzdys pseudokodo:

# Pagrindinis modelis f, priešpriešinis modelis g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Kur lambda reguliuoja tikslumo ir teisingumo balansą.