¿Cuál es el papel de la conexión residual y LayerNorm en el bloque Transformer?

La conexión residual (conexión residual) y LayerNorm (normalización de capa) juegan un papel clave en la estabilidad y eficiencia del entrenamiento de bloques Transformer.

Conexión residual ayuda a evitar el problema de gradientes que se desvanecen durante el entrenamiento de redes profundas. Añade los datos de entrada de la capa a su salida, permitiendo que el gradiente pase más fácilmente a través de las capas y mejorando la convergencia. Esto se puede representar así:

output = LayerNorm(x + Sublayer(x))

donde x es la entrada al bloque, y Sublayer(x) es el resultado del procesamiento (por ejemplo, atención o feed-forward).

LayerNorm normaliza la salida de la capa por características, lo que estabiliza y acelera el entrenamiento, reduciendo el desplazamiento interno de covarianza. A diferencia de BatchNorm, LayerNorm funciona independientemente del tamaño del lote, lo cual es importante para datos secuenciales.

Juntos, la conexión residual y LayerNorm proporcionan un entrenamiento más profundo y estable de modelos Transformer, mejorando la calidad y la velocidad de convergencia.