Какво е MLM (маскирано моделиране на езика)? Какъв дял от токените се маскира?

Маскирано моделиране на езика (MLM) е задача за обучение на езиков модел, при която част от входните токени се маскират случайно (заместват се със специален токен, например [MASK]), а моделът трябва да предвиди първоначалните стойности на тези маскирани токени.

Това позволява на модела да учи контекста и да разбира връзките между думите.

В класическата реализация на BERT около 15% от токените във всяко входно изречение се маскират. От тези 15%:

• 80% се заменят с токена [MASK]
• 10% се заменят с произволен токен
• 10% остават непроменени (но моделът все пак трябва да предвиди оригиналния токен)

Този подход помага на модела да не се пренастройва прекалено към токена [MASK] и да обобщава по-добре.

Пример: за изречението "The cat sat on the mat" моделът може да получи "The cat [MASK] on the mat" и трябва да предвиди думата "sat".