Koja je uloga residual connection i LayerNorm u Transformer-bloku?

Rezidualna veza (rezidualna veza) i LayerNorm (normalizacija sloja) igraju ključnu ulogu u stabilnosti i efikasnosti obuke Transformer blokova.

Rezidualna veza pomaže da se izbegne problem nestajućih gradijenata tokom obuke dubokih mreža. Ona dodaje ulazne podatke sloja njegovom izlazu, omogućavajući gradijentu da lakše prolazi kroz slojeve i poboljšava konvergenciju. To se može predstaviti ovako:

output = LayerNorm(x + Sublayer(x))

gde je x ulaz u blok, a Sublayer(x) rezultat obrade (npr. pažnja ili feed-forward).

LayerNorm normalizuje izlaz sloja po karakteristikama, što stabilizuje i ubrzava obuku, smanjujući unutrašnje pomeranje kovarijanse. Za razliku od BatchNorm, LayerNorm radi nezavisno od veličine serije, što je važno za sekvencijalne podatke.

Zajedno, residualna veza i LayerNorm obezbeđuju dublje i stabilnije obučavanje Transformer modela, poboljšavajući kvalitet i brzinu konvergencije.