Kas ir MLM (maskēta valodas modelēšana)? Cik procenti tokenu ir maskēti?

Paslēptās valodas modeļošana (MLM) ir uzdevums, kurā valodas modelis tiek apmācīts, daļa ievades tokenu nejauši tiek maskēti (aizstāti ar īpašu tokenu, piemēram, [MASK]), un modelim jāparedz šo maskēto tokenu sākotnējās vērtības.

Tas ļauj modelim mācīties kontekstu un saprast vārdu savstarpējās saistības.

Klasiskajā BERT realizācijā aptuveni 15% no katras ievades teikuma tokeniem tiek maskēti. No šiem 15%:

• 80% tiek aizstāti ar [MASK] tokenu
• 10% tiek aizstāti ar nejaušu tokenu
• 10% paliek nemainīti (bet modelim joprojām jāparedz sākotnējais tokens)

Šī pieeja palīdz modelim ne pārāk pielāgoties [MASK] tokenam un labāk vispārīgi apmācīt.

Piemērs: teikumam "The cat sat on the mat" modelis var saņemt "The cat [MASK] on the mat" un jāparedz vārds "sat".