Qual é o papel da conexão residual e LayerNorm no bloco Transformer?

A conexão residual (conexão residual) e LayerNorm (normalização de camada) desempenham um papel fundamental na estabilidade e eficiência do treinamento de blocos Transformer.

Conexão residual ajuda a evitar o problema de gradientes que desaparecem durante o treinamento de redes profundas. Ela adiciona os dados de entrada da camada à sua saída, permitindo que o gradiente passe mais facilmente pelas camadas e melhorando a convergência. Pode ser representada assim:

output = LayerNorm(x + Sublayer(x))

onde x é a entrada do bloco, e Sublayer(x) é o resultado do processamento (por exemplo, atenção ou feed-forward).

LayerNorm normaliza a saída da camada por características, o que estabiliza e acelera o treinamento, reduzindo o deslocamento interno de covariância. Ao contrário do BatchNorm, LayerNorm funciona independentemente do tamanho do lote, o que é importante para dados sequenciais.

Juntos, residual connection e LayerNorm proporcionam um treinamento mais profundo e estável de modelos Transformer, melhorando a qualidade e a velocidade de convergência.