Какви методи за дебийзинг на моделите съществуват (противоречива дебийзинг)?

Адвърсариално дебъейсинг е метод за премахване на предразсъдъци в модели за машинно обучение чрез състезателно обучение. Основната идея е да се обучи основен модел за предсказване на целевата променлива, като същевременно се обучава и adversarial модел, който се опитва да предвиди защитена характеристика (например пол или раса) от изходите на основния модел. Основният модел се оптимизира така, че да минимизира грешката при предсказването и едновременно да затруднява adversarial модела да гадае защитената характеристика.

Методи за дебъейсинг с използване на adversarial подход:

• Състезателно обучение: основният модел и adversarial модел се обучават заедно, като основният модел се опитва да 'измами' adversarial.
• Регуляризация с adversarial загуба: добавяне към функцията за загуба на компонент, който наказва модела за наличието на информация за защитената характеристика.
• Използване на градиентен спуск с обратна връзка: градиентите от adversarial модела се инвертират при актуализацията на основния модел, за да се намали зависимостта от защитената характеристика.

Пример за псевдокод:

# Основен модел f, adversarial модел g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Където lambda регулира баланса между точност и справедливост.