Ի՞նչ է MLM (մասկետային լեզվի մոդելավորում): Որքան տոկոս է մասկեր տոքենները:

Մասկեդ լեզվի մոդելավորում (MLM) — դա լեզվական մոդելի ուսուցման խնդիր է, որի ժամանակ մասամբ մուտքային տեքստը պատահականորեն մասկարվում է (փոխարինվում հատուկ տեքստով, օրինակ, [MASK]), և մոդելը պետք է կանխատեսի այդ մասկարված տեքստերի սկզբնական արժեքները:

Այս մեթոդը թույլ է տալիս մոդելին սովորել կոնտեքստը և հասկանալ բառերի միջև կապերը:

Կլասիկ BERT-ի իրականացման ժամանակ, յուրաքանչյուր մուտքային նախադասության մոտ 15% տեքստերը մասկարվում են։ Այս 15%-ից՝

• 80% փոխարինվում է [MASK] տեքստով
• 10% փոխարինվում է պատահական տեքստով
• 10% մնում է անփոփոխ (բայց մոդելը պետք է կանխատեսի սկզբնական տեքստը)

Այս մոտեցումը օգնում է մոդելին չգերդասել [MASK] տեքստին և ավելի լավ ընդհանուր պատկերացում կազմել:

Օրինակ՝ «The cat sat on the mat» նախադասության համար մոդելը կարող է ստանալ «The cat [MASK] on the mat» և պետք է կանխատեսի «sat» բառը։