Зачем 80/10/10 в маскировании BERT (mask, random, original)?

В предобучении BERT используется стратегия маскирования токенов для обучения модели предсказывать скрытые слова. Правило 80/10/10 означает, что из всех выбранных для маскировки токенов:

• 80% заменяются на специальный токен [MASK], чтобы модель училась предсказывать именно маскированные слова.
• 10% заменяются на случайные токены, чтобы модель не переобучалась на шаблоне маскировки и училась быть устойчивой к шуму.
• 10% оставляются без изменений (оригинальные токены), чтобы модель сохраняла контекст и не слишком полагалась на наличие [MASK].

Такой баланс помогает модели лучше обобщать и избегать переобучения на искусственно созданных масках.