Qalıq blok nədir?

Rezidüel blok, ResNet-ə daxil edilmiş və çox dərin şəbəkələrin təlimi zamanı gradientlərin yox olmasının qarşısını alan arxitektura elementidir.

Rezidüel blokun ideyası odur ki, birbaşa ( H(x) ) xəritəsini öyrənmək əvəzinə, blok ( F(x) = H(x) - x ) düzəlişini öyrənir, yəni reziduallıq. Nəticədə, blokun çıxışı aşağıdakı kimi hesablanır:

[ \text{çıxış} = F(x) + x ]

burada:

• ( x ) blokun girişidir,
• ( F(x) ) bir neçə qatın (məsələn, konvolusiya, aktivasiya funksiyaları) nəticəsidir.

Bu, gradientin qatlar arasında daha asan keçməsinə imkan verir və dərin modellərin təlimini yaxşılaşdırır.

Sadə rezidüel blok nümunəsi (pseudo-kod):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # girişə əlavə edilir (atlama bağlantısı)
        out = self.relu(out)
        return out

Bu cür, rezidüel bloklar çox dərin neyron şəbəkələrin qurulmasına imkan verir və təlim keyfiyyətini aşağı salmır.