¿Qué es un bloque residual?

El bloque residual es un elemento arquitectónico de las redes neuronales, introducido en ResNet, que ayuda a combatir el problema de la desaparición del gradiente durante el entrenamiento de redes muy profundas.

La idea del bloque residual es que, en lugar de aprender una función de mapeo ( H(x) ) directa, el bloque aprende una corrección ( F(x) = H(x) - x ), es decir, el residual. Al final, la salida del bloque se calcula como:

[ \text{salida} = F(x) + x ]

donde:

• ( x ) es la entrada del bloque,
• ( F(x) ) es el resultado de varias capas (por ejemplo, convolución, activaciones).

Esto permite que el gradiente pase más fácilmente a través de las capas, mejorando el entrenamiento de modelos profundos.

Ejemplo de un bloque residual simple (pseudocódigo):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # añadimos la entrada (conexión de salto)
        out = self.relu(out)
        return out

De esta forma, los bloques residual permiten construir redes neuronales muy profundas sin deteriorar la calidad del entrenamiento.