Jakie są metody usuwania uprzedzeń z modelu (adversarial debiasing)?

Adversarialne usuwanie uprzedzeń to metoda eliminacji uprzedzeń w modelach uczenia maszynowego za pomocą treningu konkurencyjnego. Główny pomysł polega na wytrenowaniu głównego modelu do przewidywania zmiennej docelowej, jednocześnie trenując model adversarialny, który próbuje przewidzieć chronioną cechę (np. płeć lub rasę) na podstawie wyjść głównego modelu. Główny model jest optymalizowany tak, aby minimalizować błąd predykcji i jednocześnie utrudniać modelowi adversarialnemu odgadnięcie chronionej cechy.

Metody usuwania uprzedzeń z użyciem podejścia adversarial:

• Trening adversarialny: główny model i model adversarialny są trenowane wspólnie, gdzie główny model próbuje 'oszukać' model adversarialny.
• Regularyzacja z stratą adversarialną: dodanie do funkcji straty komponentu, który karze model za posiadanie informacji o chronionej cesze.
• Użycie spadku gradientu z informacją zwrotną: gradienty od modelu adversarialnego są odwracane podczas aktualizacji głównego modelu, aby zmniejszyć zależność od chronionej cechy.

Przykład pseudokodu:

# Główny model f, model adversarialny g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Gdzie lambda reguluje równowagę między dokładnością a sprawiedliwością.