Jakou roli má residual connection a LayerNorm v Transformer bloku?

Reziduální spojení (reziduální spojení) a LayerNorm (normalizace vrstvy) hrají klíčovou roli v stabilitě a efektivitě tréninku bloků Transformer.

Reziduální spojení pomáhá zabránit problému mizících gradientů při tréninku hlubokých sítí. Přidává vstupní data vrstvy k její výstupní hodnotě, což umožňuje gradientu snadnější průchod vrstvami a zlepšuje konvergenci. To lze znázornit takto:

output = LayerNorm(x + Sublayer(x))

kde x je vstup do bloku a Sublayer(x) je výsledek zpracování (například pozornost nebo feed-forward).

LayerNorm normalizuje výstup vrstvy podle rysů, což stabilizuje a urychluje trénink, snižuje vnitřní posun kovariance. Na rozdíl od BatchNorm funguje nezávisle na velikosti dávky, což je důležité pro sekvenční data.

Společně reziduální spojení a LayerNorm zajišťují hlubší a stabilnější trénink modelů Transformer, zlepšují kvalitu a rychlost konvergence.