Калдык блок деген эмне?

Резидуал блок — бул нейрондук тармактардын архитектуралык элементи, ал ResNetке киргизилген жана өтө терең тармактарды үйрөтүү учурунда градиенттердин жоголушунун алдын алууга жардам берет.

Резидуал блоктун идеясы — түздөн-түз ( H(x) ) картасын үйрөнүүнүн ордуна, блок түзөтүүнү ( F(x) = H(x) - x ) үйрөнөт, башкача айтканда, калдыкты. Аягында, блоктун чыгышы төмөндөгүчө эсептелет:

[ \text{чыгыш} = F(x) + x ]

мында:

• ( x ) блоктун кириши,
• ( F(x) ) бир нече катмардын (мисалы, конволюция, активизациялар) жыйынтыгы.

Бул градиенттин катмардын ичинде оңой өтүшүнө мүмкүндүк берет жана терең моделдердин үйрөтүлүшүн жакшыртат.

Жөнөкөй резидуалдык блоктун мисалы (псевдокод):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # кирүүнү кошуу (сикл байланыш)
        out = self.relu(out)
        return out

Мындайча, резидуалдык блоктор өтө терең нейрондук тармактарды түзүүгө мүмкүндүк берет жана үйрөтүүнүн сапатын төмөндөтпөйт.