Como foi treinado o BERT? O que são MLM e NSP?

O BERT (Representações de Codificador Bidirecional de Transformadores) foi treinado usando duas tarefas principais:

1. MLM (Modelagem de Linguagem Mascarada) — mascarar palavras numa frase e prever essas palavras com base no contexto. Durante o treino, uma parte dos tokens (cerca de 15%) é mascarada aleatoriamente, e o modelo deve prever quais as palavras que estavam escondidas, usando a informação à esquerda e à direita (contexto bidirecional).

2. NSP (Previsão da Próxima Frase) — tarefa de prever se a segunda frase de um par é realmente a seguinte no texto original. Isto ajuda o modelo a entender a relação entre as frases.

Assim, o MLM ensina o modelo a entender o contexto dentro de uma frase, e o NSP — as relações entre frases, o que melhora a qualidade das representações para tarefas de processamento de linguagem natural.