Vergleichen Sie die Pre-Norm- und Post-Norm-Transformer. Welcher ist stabiler beim Training in großen Tiefen?

Pre-norm und post-norm sind zwei Optionen für die Platzierung der Normalisierungsschicht (LayerNorm) in der Transformer-Architektur.

• Post-norm (die ursprüngliche Version von Vaswani et al., 2017): Die Normalisierung wird nach dem Attention- oder FFN-Block und nach der Residual-Verbindung angewendet.

• Pre-norm: Die Normalisierung wird vor dem Attention- oder FFN-Block angewendet, und die Residual-Verbindung wird danach hinzugefügt.

Unterschiede und Einfluss auf das Training:

• Pre-norm Transformer-Modelle werden in der Regel stabiler bei größerer Tiefe (mehr Schichten) trainiert. Dies liegt daran, dass die Normalisierung vor dem Block hilft, die Gradienten besser zu kontrollieren und deren Verschwinden oder Explodieren zu verhindern.

• Bei post-norm Architekturen treten bei zunehmender Schichtzahl häufig Probleme mit den Gradienten auf, was das Training tiefer Modelle erschwert.

Fazit: Für tiefe Transformer (z.B. mehr als 12 Schichten) ist es vorzuziehen, pre-norm zu verwenden, da es ein stabileres und effizienteres Training gewährleistet.