O que é RMSNorm e por que é usado no LLaMA?

RMSNorm (Normalização da Raiz Quadrada Média do Camada) é uma variante de normalização de camadas usada na arquitetura de transformadores, incluindo LLaMA.

Ao contrário da normalização de camada clássica, que normaliza as entradas pela média e pelo desvio padrão, o RMSNorm normaliza apenas pela raiz quadrada da média dos quadrados (RMS) dos valores, sem subtrair a média. Isso simplifica os cálculos e reduz a carga computacional.

Vantagens do RMSNorm:

• Menos parâmetros e cálculos em comparação com o LayerNorm.
• Mantém a estabilidade do treinamento e ajuda a combater gradientes que desaparecem ou explodem.
• É adequado para modelos grandes, como LLaMA, onde a eficiência é crítica.

Assim, o RMSNorm fornece uma normalização eficiente e estável em transformadores, melhorando o desempenho e a escalabilidade do modelo.