Каква е ролята на residual connection и LayerNorm в Transformer блока?

Резидуалната връзка (остатъчната връзка) и LayerNorm (нормализация на слоя) играят ключова роля в стабилността и ефективността на обучението на Transformer блокове.

Резидуалната връзка помага да се избегне проблемът с изчезващите градиенти при обучението на дълбоки мрежи. Тя добавя входните данни на слоя към неговия изход, което позволява на градиента по-лесно да преминава през слоевете и подобрява сходимостта. Това може да бъде представено така:

output = LayerNorm(x + Sublayer(x))

където x е входът към блока, а Sublayer(x) е резултатът от обработката (например, внимание или feed-forward).

LayerNorm нормализира изхода на слоя по признаци, което стабилизира и ускорява обучението, намалявайки вътрешното ковариантно изместване. За разлика от BatchNorm, LayerNorm работи независимо от размера на пакета, което е важно за последователни данни.

Заедно, резидуалната връзка и LayerNorm осигуряват по-дълбоко и стабилно обучение на Transformer моделите, подобрявайки качеството и скоростта на сходимост.