Čo je MLM (maskované modelovanie jazyka)? Aký podiel tokenov je maskovaný?

Maskované jazykové modelovanie (MLM) je úloha pri tréningu jazykového modelu, pri ktorej je časť vstupných tokenov náhodne maskovaná (nahradená špeciálnym tokenom, napríklad [MASK]), a model musí predpovedať pôvodné hodnoty týchto maskovaných tokenov.

To umožňuje modelu učiť sa kontext a chápať vzťahy medzi slovami.

V klasickej implementácii BERT je približne 15 % tokenov v každej vete maskovaných. Z týchto 15 %:

• 80 % je nahradených tokenom [MASK]
• 10 % je nahradených náhodným tokenom
• 10 % zostáva nezmenených (ale model musí stále predpovedať pôvodný token)

Tento prístup pomáha modelu, aby sa nepreškolil na token [MASK] a lepšie generalizoval.

Príklad: pre vetu "The cat sat on the mat" môže model získať "The cat [MASK] on the mat" a musí predpovedať slovo "sat".