Wat is de rol van de residual connection en LayerNorm in het Transformer-blok?

Residuële verbinding (residuële verbinding) en LayerNorm (laagnormalisatie) spelen een sleutelrol in de stabiliteit en efficiëntie van het trainen van Transformer-blokken.

Residuële verbinding helpt het probleem van verdwijnende gradiënten te voorkomen tijdens het trainen van diepe netwerken. Het voegt de invoergegevens van de laag toe aan de output, waardoor de gradiënt gemakkelijker door de lagen kan stromen en de convergentie verbetert. Dit kan als volgt worden weergegeven:

output = LayerNorm(x + Sublayer(x))

waar x de invoer naar het blok is en Sublayer(x) het verwerkingsresultaat (bijvoorbeeld aandacht of feed-forward).

LayerNorm normaliseert de output van de laag op kenmerken, wat het trainen stabiliseert en versnelt, en de interne covariantieverschuiving vermindert. In tegenstelling tot BatchNorm werkt LayerNorm onafhankelijk van de batchgrootte, wat belangrijk is voor sequentiële gegevens.

Samen zorgen residuële verbinding en LayerNorm voor een dieper en stabieler trainen van Transformer-modellen, wat de kwaliteit en snelheid van convergentie verbetert.