Care este rolul conexiunii reziduale și LayerNorm în blocul Transformer?

Conexiunea reziduală (conexiunea residuală) și LayerNorm (normalizarea stratului) joacă un rol cheie în stabilitatea și eficiența antrenamentului blocurilor Transformer.

Conexiunea reziduală ajută la evitarea problemei gradientelor care dispar în timpul antrenamentului rețelelor profunde. Adaugă datele de intrare ale stratului la ieșirea sa, permițând gradientului să treacă mai ușor prin straturi și îmbunătățind convergența. Se poate reprezenta astfel:

output = LayerNorm(x + Sublayer(x))

unde x este intrarea în bloc, iar Sublayer(x) este rezultatul procesării (de exemplu, atenție sau feed-forward).

LayerNorm normalizează ieșirea stratului pe caracteristici, ceea ce stabilizează și accelerează antrenamentul, reducând deplasarea internă a covarianței. Spre deosebire de BatchNorm, LayerNorm funcționează independent de dimensiunea lotului, ceea ce este important pentru datele secvențiale.

Împreună, conexiunea reziduală și LayerNorm asigură un antrenament mai profund și mai stabil al modelelor Transformer, îmbunătățind calitatea și viteza de convergență.