O que é MLM (modelagem de linguagem mascarada)? Qual a proporção de tokens que é mascarada?

Modelação de Linguagem Mascarada (MLM) é uma tarefa de treino de modelos de linguagem, na qual parte dos tokens de entrada é mascarada aleatoriamente (substituída por um token especial, por exemplo, [MASK]), e o modelo deve prever os valores originais desses tokens mascarados.

Isto permite que o modelo aprenda o contexto e compreenda as relações entre as palavras.

Na implementação clássica do BERT, aproximadamente 15% dos tokens em cada frase de entrada são mascarados. Destes 15%:

• 80% são substituídos pelo token [MASK]
• 10% são substituídos por um token aleatório
• 10% permanecem inalterados (mas o modelo ainda deve prever o token original)

Esta abordagem ajuda o modelo a não sobreajustar ao token [MASK] e a generalizar melhor.

Exemplo: para a frase "The cat sat on the mat", o modelo pode obter "The cat [MASK] on the mat" e deve prever a palavra "sat".