Welche Rolle spielen die Residual-Verbindung und LayerNorm im Transformer-Block?

Residualverbindung (Residualverbindung) und LayerNorm (Layer-Normalisierung) spielen eine Schlüsselrolle bei der Stabilität und Effizienz des Trainings von Transformer-Blöcken.

Residualverbindung hilft, das Problem der verschwindenden Gradienten beim Training tiefer Netzwerke zu vermeiden. Sie fügt die Eingabedaten der Schicht zu ihrer Ausgabe hinzu, was es dem Gradienten erleichtert, durch die Schichten zu fließen, und die Konvergenz verbessert. Dies lässt sich so darstellen:

output = LayerNorm(x + Sublayer(x))

wobei x der Eingang zum Block ist und Sublayer(x) das Verarbeitungsergebnis (z.B. Aufmerksamkeit oder Feed-Forward) ist.

LayerNorm normalisiert die Ausgabe der Schicht nach Merkmalen, was das Training stabilisiert und beschleunigt, indem es die interne Kovarianzverschiebung reduziert. Im Gegensatz zu BatchNorm funktioniert LayerNorm unabhängig von der Batchgröße, was für sequenzielle Daten wichtig ist.

Gemeinsam sorgen residual connection und LayerNorm für ein tieferes und stabileres Training von Transformer-Modellen, verbessern die Qualität und die Konvergenzgeschwindigkeit.