Ролҳои пайвасти боқимонда ва LayerNorm дар блоки Transformer чист?

Қалған байланыс (қалған байланыс) және LayerNorm (қабат нормализациясы) Transformer блоктарының тұрақтылығы мен тиімділігінде негізгі рөл атқарады.

Қалған байланыс терең желілерді оқыту кезінде жоғалып бара жатқан градиенттер мәселесін болдырмауға көмектеседі. Ол қабаттың кіріс деректерін оның шығысына қосады, бұл градиенттің қабаттар арқылы оңай өтуіне мүмкіндік береді және жақындауды жақсартады. Мұны осылай көрсетуге болады:

output = LayerNorm(x + Sublayer(x))

мұнда x блокқа кіріс, ал Sublayer(x) өңдеу нәтижесі (мысалы, назар аудару немесе алдыңғы өңдеу).

LayerNorm қабаттың шығынын белгілер бойынша нормалдайды, бұл оқытуды тұрақтандырады және жеделдетеді, ішкі ковариациялық ауытқуды азайтады. BatchNorm-тан айырмашылығы, LayerNorm топтаманың өлшеміне тәуелсіз жұмыс істейді, бұл үздіксіз деректер үшін маңызды.

Бірге, қалдық байланыс және LayerNorm Transformer модельдерінің тереңірек және тұрақты оқытылуын қамтамасыз етеді, сапа мен конвергенция жылдамдығын жақсартады.