Zašto 80/10/10 u maskiranju BERT (maska, nasumična, originalna)?

Унапред обучавању БЕРТ-а, користи се стратегија маскирања токена за обуку модела да предвиђа скривене речи. Правило 80/10/10 значи да, од свих изабраних токена за маскирање:

• 80% се замењује специјалним токеном [MASK], како би модел научио да тачно предвиђа маскиране речи.
• 10% се замењује случајним токенима, како модел не би преобучио на образац маскирања и научио да буде отпоран на шум.
• 10% остаје непромењено (оригинални токени), како модел одржава контекст и не ослања се превише на присуство [MASK].

Ова равнотежа помаже моделу да боље генерализује и избегне пренауке на вештачки креираним маскама.