Kāpēc 80/10/10 BERT maskēšanā (maskas, nejauši, oriģināls)?

BERT iepriekšējās apmācības laikā tiek izmantota marķēšanas stratēģija, lai apmācītu modeli prognozēt slēptās vārdus. Noteikums 80/10/10 nozīmē, ka no visiem marķēšanas izvēlētajiem tokeniem:

• 80% tiek aizstāti ar īpašo [MASK] tokenu, lai modelis iemācītos precīzi prognozēt maskētās vārdus.
• 10% tiek aizstāti ar nejaušiem tokeniem, lai modelis ne pārāk apmācītos uz maskēšanas modeļa un iemācītos būt izturīgam pret troksni.
• 10% paliek nemainīti (oriģinālie tokeni), lai modelis saglabātu kontekstu un pārāk nepaļautos uz [MASK] klātbūtni.

Šis līdzsvars palīdz modelim labāk generalizēt un izvairīties no pārmērīgas apmācības uz mākslīgi izveidotām maskām.