BERTтин маскалоо 80/10/10 эмнеге (маска, кыялдуу, оригинал)?

BERTтин алдын ала окутуусунда, моделге жашырылган сөздөрдү алдын ала болжау үчүн токендерди маскалоо стратегиясы колдонулат. 80/10/10 эрежеси, маскалоого тандалган бардык токендердин ичинен:

• 80% атайын [MASK] токенине алмаштырылат, ошондо модел туура маскаланган сөздөрдү алдын ала болжай алат.
• 10% кездейсоқ токендерге алмаштырылат, ошондо модел маскалоо үлгүсүнө ашыкча үйрөнбөйт жана шуду туруштук бере алат.
• 10% өзгөртүүсүз калат (оригиналдуу токендер), ошондо модел контекстти сактайт жана [MASK] бар экенине ашыкча ишенбейт.

Бул баланс моделге жакшыраак жалпылоо жана жасалма түзүлгөн маскаларга ашыкча үйрөнүүнү алдын алуу үчүн жардам берет.