Transformer блогунда residual байланышы жана LayerNormдин ролу эмне?

Калдык байланыш (калдык байланыш) жана LayerNorm (катмар нормалдаштыруу) Transformer блокторунун туруктуулугу жана натыйжалуулугунда негизги роль ойнойт.

Калдык байланыш терең тармактарды окутууда исчезип бара жаткан градиенттер маселесинен сактайт. Ал катардын кирүү маалыматтарын анын чыгышына кошуп, градиенттин катмарлар аркылуу оңой өтүшүнө мүмкүндүк берет жана жакындашууну жакшыртат. Муну мындайча көрсөтсө болот:

output = LayerNorm(x + Sublayer(x))

жана x блокко кирүү, ал эми Sublayer(x) иштетүүнүн жыйынтыгы (мисалы, көңүл буруу же алдын-ала иштетүү).

LayerNorm катардын чыгышын өзгөчөлүктөр боюнча нормалдаштырат, бул окутууну туруктуу жана тездетет, ички ковариациянын жылышын азайтат. BatchNormдон айырмаланып, LayerNorm топтомдун өлчөмүнө көз каранды эмес, бул үзгүлтүксүз маалыматтар үчүн маанилүү.

Бирге, калдык байланыш жана LayerNorm Transformer моделдеринин терең жана туруктуу окутулушун камсыздайт, сапаты жана конвергенция ылдамдыгын жакшыртат.