Mi a szerepe a residual kapcsolatnak és a LayerNormnak a Transformer blokkban?

A maradék kapcsolat (maradék kapcsolat) és a LayerNorm (réteg normalizálás) kulcsszerepet játszanak a Transformer blokkok stabilitásában és hatékonyságában.

Maradék kapcsolat segít elkerülni a mély hálózatok tanítása során jelentkező eltűnő gradiens problémát. Hozzáadja a réteg bemeneti adatait a kimenethez, lehetővé téve, hogy a gradiens könnyebben átjárja a rétegeket, és javítja az összegződést. Így lehet ábrázolni:

output = LayerNorm(x + Sublayer(x))

ahol x a blokk bemenete, és Sublayer(x) a feldolgozás eredménye (pl. figyelem vagy feed-forward).

LayerNorm normalizálja a réteg kimenetét jellemzők szerint, ami stabilizálja és gyorsítja a tanulást, csökkentve a belső kovariancia eltolódását. A BatchNorm-tól eltérően a LayerNorm független a batch méretétől, ami fontos a szekvenciális adatok esetében.

Együtt a maradék kapcsolat és a LayerNorm mélyebb és stabilabb tanulást biztosít a Transformer modellekben, javítva a minőséget és a konvergencia sebességét.