MLM (маскаланган тил моделдөө) эмне? Канча токен маскаланат?

Маскировка тил моделдөө (MLM) — бул тил моделин үйрөтүү тапшырмасы, анда кирүү токендеринин бир бөлүгү кокустан маскадалат (мисалы, [MASK] деген атайын токен менен алмаштырылат), жана модель бул маскадалган токендердин түпкү маанилерин алдын ала айтууга тийиш.

Бул модельге контекстти үйрөнүүгө жана сөздөрдүн ортосундагы байланышты түшүнүүгө жардам берет.

Классикалык BERT ишке ашырылышында, ар бир кирүү сүйлөмүндө болжол менен 15% токен маскадалат. Бул 15% ичинен:

• 80% [MASK] токенине алмаштырылат
• 10% кокустан токенге алмаштырылат
• 10% өзгөртүүсүз калат (бирок модель дагы эле түпкү токенди алдын ала айтууга тийиш)

Бул ыкма модельге [MASK] токенине ашыкча көнүп калбоого жана жакшыраак жалпылоого жардам берет.

Мисал: "The cat sat on the mat" сүйлөмү үчүн модель "The cat [MASK] on the mat" алса жана "sat" сөзүн алдын ала айтууга тийиш.