Qual è il ruolo della connessione residual e LayerNorm nel blocco Transformer?

La connessione residua (connessione residua) e LayerNorm (normalizzazione di livello) svolgono un ruolo chiave nella stabilità e nell'efficienza dell'addestramento dei blocchi Transformer.

Connessione residua aiuta a evitare il problema dei gradienti che svaniscono durante l'addestramento di reti profonde. Aggiunge i dati di input dello strato alla sua uscita, consentendo al gradiente di passare più facilmente attraverso gli strati e migliorando la convergenza. Può essere rappresentata così:

output = LayerNorm(x + Sublayer(x))

dove x è l'ingresso al blocco e Sublayer(x) è il risultato dell'elaborazione (ad esempio, attenzione o feed-forward).

LayerNorm normalizza l'uscita dello strato per caratteristiche, stabilizzando e accelerando l'addestramento, riducendo lo spostamento interno di covarianza. A differenza di BatchNorm, LayerNorm funziona indipendentemente dalla dimensione del batch, il che è importante per dati sequenziali.

Insieme, la connessione residua e LayerNorm garantiscono un addestramento più profondo e stabile dei modelli Transformer, migliorando qualità e velocità di convergenza.