Ինչու 80/10/10 BERT-ի մասկավորման մեջ (մասկա, պատահական, սկզբնական)?

BERT-ի նախապատրաստման ժամանակ օգտագործվում է մասկավորման տեքստերի ռազմավարություն՝ մոդելին սովորեցնելու համար թաքնված բառերը կանխատեսել։ 80/10/10 կանոնը նշանակում է, որ ընտրված բոլոր մասկավորված տեքստերից՝

• 80%-ը փոխարինվում է հատուկ [MASK] տեքստով, որպեսզի մոդելը սովորի ճիշտ կանխատեսել մասկավորված բառերը։
• 10%-ը փոխարինվում է պատահական տեքստերով, որպեսզի մոդելը չվերապատրաստվի մասկավորման ձևանմուշին և սովորի լինել դիմացկուն աղմուկին։
• 10%-ը մնում է անփոփոխ (մասկավորված տեքստեր), որպեսզի մոդելը պահպանի կոնտեքստը և չվստահի միայն [MASK]-ի ներկայությանը։

Այս հավասարակշռությունը օգնում է մոդելին ավելի լավ ընդհանուր պատկերացում կազմել և խուսափել مصنوعական մասկերի վրա ավելորդ ուսուցումից։