Kas yra rezidualinis blokas?

Reziduotas blokas yra neuroninių tinklų architektūros elementas, įvestas į ResNet, kuris padeda kovoti su gradientų nykimo problema labai giliuose tinkluose mokymo metu.

Reziduoto bloko idėja ta, kad vietoj tiesioginio ( H(x) ) žemėlapio mokymosi, blokas mokosi pataisymo ( F(x) = H(x) - x ), tai yra reziduo. Galutinis bloko išėjimas skaičiuojamas kaip:

[ \text{išėjimas} = F(x) + x ]

kur:

• ( x ) yra įėjimas į bloką,
• ( F(x) ) yra kelių sluoksnių (pavyzdžiui, konvoliucijos, aktyvacijos) rezultatas.

Tai leidžia gradientui lengviau pereiti per sluoksnius, pagerinant gilų modelių mokymąsi.

Paprastas reziduoto bloko pavyzdys (pseudo-kodas):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # pridėti įėjimą (šokinė jungtis)
        out = self.relu(out)
        return out

Šiuo būdu, reziduoti blokai leidžia kurti labai gilias neuronines tinklus be mokymo kokybės praradimo.