Čo je RMSNorm a prečo sa používa v LLaMA?

RMSNorm (Root Mean Square Layer Normalization) je varianta normalizácie vrstiev, ktorá sa používa v architektúrach transformerov, vrátane LLaMA.

Na rozdiel od klasickej LayerNorm, ktorá normalizuje vstupy podľa priemeru a štandardnej odchýlky, RMSNorm normalizuje iba podľa druhej odmocniny priemeru štvorcov (RMS) hodnôt, bez odpočítania priemeru. To zjednodušuje výpočty a znižuje výpočtovú záťaž.

Výhody RMSNorm:

• Menej parametrov a výpočtov v porovnaní s LayerNorm.
• Udržiava stabilitu učenia a pomáha bojovať s miznúcimi alebo explodujúcimi gradientmi.
• Je vhodná pre veľké modely ako LLaMA, kde je efektivita kľúčová.

Takto RMSNorm zabezpečuje efektívnu a stabilnú normalizáciu v transformeroch, zlepšujúc výkon a škálovateľnosť modelu.