Czym jest blok resztkowy?

Blok resztkowy to element architektoniczny sieci neuronowych, wprowadzony w ResNet, który pomaga zwalczać problem zanikających gradientów podczas uczenia bardzo głębokich sieci.

Pomysł bloku resztkowego polega na tym, że zamiast uczyć bezpośrednie odwzorowanie ( H(x) ), blok uczy korektę ( F(x) = H(x) - x ), czyli residual. Ostatecznie wyjście bloku jest obliczane jako:

[ \text{wyjście} = F(x) + x ]

gdzie:

• ( x ) to wejście do bloku,
• ( F(x) ) to wynik kilku warstw (np. konwolucja, aktywacje).

To pozwala gradientowi łatwiej przechodzić przez warstwy, poprawiając uczenie głębokich modeli.

Przykład prostego bloku residualnego (pseudo-kod):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # dodajemy wejście (połączenie pomijające)
        out = self.relu(out)
        return out

W ten sposób, bloki residualne pozwalają na budowę bardzo głębokich sieci neuronowych bez pogorszenia jakości uczenia.