Mis on residuaalblokk?

Residuulne plokk on närvivõrkude arhitektuuri element, mis on sisse viidud ResNet-i ja aitab võidelda väga sügavate võrkude koolitamisel gradientide kadumise probleemiga.

Residuulse ploki idee on see, et selle asemel, et õppida otse ( H(x) ) kaardistust, õpib plokk parandust ( F(x) = H(x) - x ), ehk residu. Lõpuks arvutatakse ploki väljund järgmiselt:

[ \text{väljund} = F(x) + x ]

kus:

• ( x ) on ploki sisend,
• ( F(x) ) on mitme kihi (näiteks konvolutsioon, aktivatsioonid) tulemus.

See võimaldab gradientil kergemini läbida kihte, parandades sügavate mudelite koolitust.

Lihtne residuulne ploki näide (pseudo-kood):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # lisame sisendi (üle hüppamise ühendus)
        out = self.relu(out)
        return out

Selline residuulne plokk võimaldab ehitada väga sügavaid närvivõrke ilma õppimise kvaliteeti halvendamata.