Akú úlohu majú residual connection a LayerNorm v Transformer bloku?

Reziduálna väzba (reziduálna väzba) a LayerNorm (vrstvová normalizácia) zohrávajú kľúčovú úlohu v stabilite a efektívnosti tréningu blokov Transformer.

Reziduálna väzba pomáha vyhnúť sa problému miznúcich gradientov počas tréningu hlbokých sietí. Pridáva vstupné údaje vrstvy k jej výstupu, čo umožňuje gradientu ľahšie prechádzať vrstvami a zlepšuje konvergenciu. To možno znázorniť takto:

output = LayerNorm(x + Sublayer(x))

kde x je vstup do bloku a Sublayer(x) je výsledok spracovania (napríklad pozornosť alebo feed-forward).

LayerNorm normalizuje výstup vrstvy podľa znakov, čo stabilizuje a zrýchľuje tréning, znižuje vnútorné posunutie kovariancie. Na rozdiel od BatchNorm, LayerNorm funguje nezávisle od veľkosti dávky, čo je dôležité pre sekvenčné údaje.

Spolu, reziduálna väzba a LayerNorm zabezpečujú hlbšie a stabilnejšie učenie modelov Transformer, zlepšujúc kvalitu a rýchlosť konvergencie.