Что такое MLM (masked language modeling)? Какая доля токенов маскируется?

Masked Language Modeling (MLM) — это задача обучения языковой модели, при которой часть входных токенов случайным образом маскируется (заменяется специальным токеном, например, [MASK]), а модель должна предсказать исходные значения этих замаскированных токенов.

Это позволяет модели учиться контексту и понимать взаимосвязи между словами.

В классической реализации BERT примерно 15% токенов в каждом входном предложении маскируются. Из этих 15%:

• 80% заменяются на токен [MASK]
• 10% заменяются на случайный токен
• 10% остаются без изменений (но модель всё равно должна предсказать исходный токен)

Такой подход помогает модели не переобучаться на токене [MASK] и лучше обобщать.

Пример: для предложения "The cat sat on the mat" модель может получить "The cat [MASK] on the mat" и должна предсказать слово "sat".