Quel est le rôle de la connexion résiduelle et LayerNorm dans le bloc Transformer?

La connexion résiduelle (connexion résiduelle) et LayerNorm (normalisation de couche) jouent un rôle clé dans la stabilité et l'efficacité de l'apprentissage des blocs Transformer.

Connexion résiduelle aide à éviter le problème des gradients qui disparaissent lors de l'entraînement de réseaux profonds. Elle ajoute les données d'entrée de la couche à sa sortie, permettant au gradient de passer plus facilement à travers les couches et améliorant la convergence. Cela peut être représenté ainsi :

output = LayerNorm(x + Sublayer(x))

où x est l'entrée du bloc, et Sublayer(x) est le résultat du traitement (par exemple, attention ou feed-forward).

LayerNorm normalise la sortie de la couche par caractéristiques, ce qui stabilise et accélère l'apprentissage, en réduisant le décalage interne de covariance. Contrairement à BatchNorm, LayerNorm fonctionne indépendamment de la taille du lot, ce qui est important pour les données séquentielles.

Ensemble, la connexion résiduelle et LayerNorm assurent un apprentissage plus profond et stable des modèles Transformer, améliorant la qualité et la vitesse de convergence.