Моделдин алдын алуу ыкмалары (каршы тараптуу алдын алуу)?

Адверсариалдык дебайесинг — бул машиналык үйрөнүү моделдериндеги көз карандылыктарды жок кылуу үчүн атаандаштыктык окутууну колдонуу жолу. Негизги идея — негизги моделди максаттуу өзгөрмөнү алдын ала айтканга үйрөтүү, ошол эле учурда, атаандаштыктык моделди үйрөтүү, ал негизги моделдин чыгыштарынан корголгон өзгөчөлүктү (мисалы, жынысы же улуту) алдын ала айтканга аракет кылат. Негизги модель алдын ала айткан катаны минималдаштырууга жана атаандаштыктык моделге корголгон өзгөчөлүктү табууну кыйындатууга оптималдаштырылган.

Атаандаштыктык ыкма менен дебайесингдин ыкмалары:

• Атаандаштыктык окутуу: негизги модель жана атаандаштык модел биргелешип окутулат, анда негизги модель атаандаштык моделди «алдамак» аракет кылат.
• Атаандаштыктык жоготуулары менен регуляция: жоготуулардын функциясына, моделге корголгон өзгөчөлүк тууралуу маалымат бар экенин жазалай турган компонент кошулат.
• Обратная байланыш менен градиентдик түшүш: атаандаштык моделден келген градиенттер негизги моделдин жаңыртылышында тескери каралат, бул корголгон өзгөчөлүккө көз карандылыкты азайтат.

Псевдокод мисалы:

# Негизги модель f, атаандаштык модел g
for batch in data:
    y_pred = f(x)
    s_pred = g(y_pred)
    loss_main = loss_fn(y_pred, y_true)
    loss_adv = loss_fn(s_pred, s_true)
    total_loss = loss_main - lambda * loss_adv
    total_loss.backward()
    optimizer.step()

Lambda, тактык жана адилеттүүлүк ортосундагы балансын жөнгө салат.