Какая роль у residual connection и LayerNorm в Transformer-блоке?

Residual connection (остаточные связи) и LayerNorm (нормализация слоя) играют ключевую роль в стабильности и эффективности обучения Transformer-блоков.

Residual connection помогает избежать проблемы затухающих градиентов при обучении глубоких сетей. Она добавляет входные данные слоя к его выходу, позволяя градиенту легче проходить через слои и улучшая сходимость. Это можно представить так:

output = LayerNorm(x + Sublayer(x))

где x — вход в блок, а Sublayer(x) — результат обработки (например, внимания или feed-forward).

LayerNorm нормализует выход слоя по признакам, что стабилизирует и ускоряет обучение, уменьшая внутреннее ковариатное смещение. В отличие от BatchNorm, LayerNorm работает независимо от размера батча, что важно для последовательных данных.

Вместе residual connection и LayerNorm обеспечивают более глубокое и стабильное обучение Transformer-моделей, улучшая качество и скорость сходимости.