Aké metódy na odstraňovanie predsudkov modelu (adversarial debiasing) existujú?

Adversariálne odstraňovanie predsudkov je metóda na odstránenie predsudkov v modeloch strojového učenia pomocou súťažného tréningu. Hlavná myšlienka je trénovať hlavný model na predpovedanie cieľovej premennej, pričom súčasne trénuje adversárny model, ktorý sa snaží predpovedať chránenú vlastnosť (napríklad pohlavie alebo rasu) z výstupov hlavného modelu. Hlavný model je optimalizovaný tak, aby minimalizoval chybu predpovede a zároveň sťažoval adversárnemu modelu uhádnuť chránenú vlastnosť.

Metódy odstraňovania predsudkov s použitím adversárneho prístupu:

• Súťažný tréning: hlavný model a adversárny model sa trénujú spoločne, kde sa hlavný model snaží 'ošálit' adversárny model.
• Regulárizácia s adversárnou stratou: pridanie do funkcie straty komponentu, ktorý penalizuje model za prítomnosť informácií o chránených vlastnostiach.
• Použitie gradientného zostupu s spätnou väzbou: gradienty od adversárneho modelu sa invertujú počas aktualizácie hlavného modelu, aby sa znížila závislosť od chránených vlastností.

Príklad pseudokódu:

# Hlavný model f, adversárny model g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Kde lambda reguluje rovnováhu medzi presnosťou a spravodlivosťou.