Wat is MLM (gemaskeerd taalmodellering)? Welk deel van de tokens wordt gemaskeerd?
sobes.tech AI
Antwoord van AI
Geseinde Taalmodellering (MLM) is een taak voor het trainen van een taalmodel waarbij een deel van de invoertokens willekeurig wordt gemaskeerd (vervangen door een speciaal token, bijvoorbeeld [MASK]), en het model moet de oorspronkelijke waarden van deze gemaskeerde tokens voorspellen.
Dit stelt het model in staat om de context te leren en de relaties tussen woorden te begrijpen.
In de klassieke implementatie van BERT worden ongeveer 15% van de tokens in elke invoerszin gemaskeerd. Van deze 15%:
- 80% wordt vervangen door het token [MASK]
- 10% wordt vervangen door een willekeurig token
- 10% blijft ongewijzigd (maar het model moet nog steeds het oorspronkelijke token voorspellen)
Deze aanpak helpt het model om niet te overfitten op het token [MASK] en beter te generaliseren.
Voorbeeld: voor de zin "The cat sat on the mat" kan het model "The cat [MASK] on the mat" krijgen en moet het het woord "sat" voorspellen.