Чаро 80/10/10 дар маскиравонии BERT (маска, тасодуфӣ, аслӣ)?

Дар омӯзиши пешакии BERT, стратегияи масккунии токенҳо барои омӯзиши модели пешгӯии калимаҳои пинҳоншуда истифода мешавад. Қоида 80/10/10 маъно дорад, ки аз ҳама токенҳои интихобшуда барои масккунии:

• 80% бо токени махсус [MASK] иваз карда мешавад, то модел омӯзад, ки калимаҳои маскшударо дуруст пешгӯӣ кунад.
• 10% бо токенҳои тасодуфӣ иваз карда мешавад, то модел дар модел масккунии зиёд омӯзиш наёбад ва омӯзад, ки муқовимат ба шуур дошта бошад.
• 10% бетағйир мемонад (токенҳои аслӣ), то модел контекстро нигоҳ дорад ва ба мавҷудияти [MASK] бештар такя накунад.

Ин мувозинат ба модел кӯмак мекунад, ки беҳтар умумӣ кунад ва аз омӯзиши зиёдатӣ дар маскҳои сунъӣ худдорӣ кунад.