Что такое RMSNorm и почему он используется в LLaMA?

RMSNorm (Root Mean Square Layer Normalization) — это разновидность нормализации слоев, которая используется в архитектуре трансформеров, включая LLaMA.

В отличие от классической LayerNorm, которая нормализует входы по среднему и стандартному отклонению, RMSNorm нормализует только по корню из среднего квадрата (RMS) значений, не вычитая среднее. Это упрощает вычисления и снижает вычислительную нагрузку.

Преимущества RMSNorm:

• Меньше параметров и вычислений по сравнению с LayerNorm.
• Сохраняет стабильность обучения и помогает бороться с затухающими или взрывающимися градиентами.
• Хорошо подходит для больших моделей, таких как LLaMA, где эффективность критична.

Таким образом, RMSNorm обеспечивает эффективную и стабильную нормализацию в трансформерах, улучшая производительность и масштабируемость модели.