Kodėl 80/10/10 BERT žymėjime (maske, atsitiktinė, originali)?

BERT išankstinio mokymo metu naudojama žymėjimo strategija, skirta mokyti modelį prognozuoti paslėptas žodžius. 80/10/10 taisyklė reiškia, kad iš visų pasirinkto žymėjimo žodžių:

• 80% pakeičiama specialiu [MASK] žodžiu, kad modelis išmoktų tiksliai prognozuoti maskuotas žodžius.
• 10% pakeičiama atsitiktiniais žodžiais, kad modelis neperlenktų maskavimo modelio ir išmoktų būti atsparus triukšmui.
• 10% lieka nepakitę (pirminiai žodžiai), kad modelis išlaikytų kontekstą ir pernelyg nepasikliautų [MASK] buvimu.

Šis balansas padeda modeliui geriau apibendrinti ir išvengti per didelio mokymosi dirbtinėse maskėse.