МЛМ (моделсозии забони бо маска) чист? Қисми токенҳо чӣ қадар маска карда мешавад?

Маскировка моделии забон (MLM) — ин вазифаи омӯзиши модели забон аст, ки дар он қисми токенҳои воридотӣ тасодуфан маск карда мешавад (бо истифода аз токени махсус, масалан, [MASK]), ва модел бояд арзишҳои аслӣ ё токенҳои маскшударо пешгӯӣ кунад.

Ин ба модел имкон медиҳад, ки контекстро омӯзад ва муносибатҳои байни калимаҳоро фаҳмад.

Дар иҷрои классикии BERT, тақрибан 15% токенҳо дар ҳар ҷумлаи воридотӣ маск карда мешаванд. Аз ин 15%:

• 80% бо токени [MASK] иваз карда мешавад
• 10% бо токени тасодуфӣ иваз карда мешавад
• 10% боқӣ мемонад бе тағирот (аммо модел бояд ҳамон тавр токени аслӣро пешгӯӣ кунад)

Ин усул ба модел кӯмак мекунад, ки дар токени [MASK] зиёд омӯзиш нагирад ва беҳтар умумӣ кунад.

Масалан: барои ҷумлаи "The cat sat on the mat" модел метавонад онро ба "The cat [MASK] on the mat" табдил диҳад ва бояд калимаро "sat" пешгӯӣ кунад.