O que é o weight tying entre embedding e output projection?

O atamento de pesos é uma técnica em redes neurais, especialmente em modelos de processamento de linguagem natural (por exemplo, transformadores), onde os pesos da camada de embedding (incorporação de palavras) e da camada de projeção de saída (projeção para o vocabulário ao gerar texto) são separados e usam os mesmos parâmetros.

A ideia é que a matriz de pesos, que transforma os índices de entrada de palavras em vetores (embedding), e a matriz que transforma a representação interna do modelo de volta em probabilidades de palavras (projeção de saída), estão na verdade relacionadas e podem ser iguais. Isso reduz o número de parâmetros do modelo e melhora sua capacidade de generalização.

Exemplo: se você tem uma matriz de embedding de tamanho (vocab_size × embedding_dim), a camada de projeção de saída pode usar a versão transposta dessa mesma matriz para calcular os logits antes do softmax.

Isso ajuda a:

• Reduzir o número de parâmetros
• Melhorar a convergência e a qualidade do modelo

Em transformadores clássicos, como GPT, o weight tying é frequentemente aplicado entre o embedding de entrada e a camada linear de saída.