Šta je residualni blok?

Reziduelni blok je arhitektonski element neuronskih mreža, uveden u ResNet, koji pomaže u borbi protiv problema nestajućih gradijenata tokom obuke veoma dubokih mreža.

Ideja reziduelnog bloka je da, umesto da uči direktnu mapu ( H(x) ), blok uči korekciju ( F(x) = H(x) - x ), odnosno rezidual. Na kraju, izlaz bloka se računa kao:

[ \text{izlaz} = F(x) + x ]

gde:

• ( x ) je ulaz u blok,
• ( F(x) ) je rezultat više slojeva (npr. konvolucija, aktivacije).

Ovo omogućava da gradijent lakše prolazi kroz slojeve, poboljšavajući obuku dubokih modela.

Primer jednostavnog reziduelnog bloka (pseudo-kod):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # dodavanje ulaza (skok veza)
        out = self.relu(out)
        return out

Na ovaj način, reziduelni blokovi omogućavaju građu veoma dubokih neuronskih mreža bez narušavanja kvaliteta obuke.