O que é o aquecimento pré-LN vs pós-LN e quais são os problemas de convergência no início do treino?

Pre-LN e Post-LN são variantes de posicionamento da camada de normalização (Layer Normalization) na arquitetura de transformadores, que afetam a estabilidade e a convergência do treino.

• Post-LN (após a camada): a normalização é aplicada após o bloco de atenção e feed-forward. Esta é uma abordagem clássica, mas pode causar problemas com os gradientes no início do treino, dificultando a convergência do modelo.

• Pre-LN (antes da camada): a normalização é aplicada antes do bloco de atenção e feed-forward. Esta abordagem melhora a estabilidade dos gradientes e acelera a convergência, especialmente nas fases iniciais do treino.

Warmup é um aumento gradual da taxa de aprendizagem no início do treino, para evitar atualizações bruscas nos pesos e melhorar a convergência.

Problemas de convergência no início estão relacionados ao fato de que, sem warmup e com Post-LN, os gradientes podem ser demasiado grandes ou pequenos, dificultando um treino eficaz. Pre-LN junto com warmup ajuda a suavizar esses problemas, garantindo um treino mais estável e rápido dos transformadores.