Čo je to reziduálny blok?

Reziduálny blok je architektonický prvok neurónových sietí, zavedený v ResNet, ktorý pomáha bojovať s problémom miznúcich gradientov počas tréningu veľmi hlbokých sietí.

Myšlienka reziduálneho bloku je, že namiesto učenia priamej mapy ( H(x) ), sa blok učí opravu ( F(x) = H(x) - x ), teda reziduál. Nakoniec sa výstup bloku vypočíta ako:

[ \text{výstup} = F(x) + x ]

kde:

• ( x ) je vstup do bloku,
• ( F(x) ) je výsledok viacerých vrstiev (napríklad konvolúcia, aktivácie).

Toto umožňuje, aby gradient ľahšie prechádzal cez vrstvy, čím sa zlepšuje tréning hlbokých modelov.

Príklad jednoduchého reziduálneho bloku (pseudokód):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # pridanie vstupu (skokové spojenie)
        out = self.relu(out)
        return out

Týmto spôsobom umožňujú reziduálne bloky budovať veľmi hlboké neurónové siete bez zhoršenia kvality učenia.