фикри ResNet-ро шарҳ диҳед ва коди ResidualBlock-ро нависед.

ResNet (Қалдық Тармоқ) идеяси — қўшиш боғланишларидан (skip connections) фойдаланиш бўлиб, бу бир ёки бир нечта қатламларни ўтказишга imkon беради, бу эса унутилган градиент муаммосини олдини олиш ва жуда чуқур нейрон тармоқларни ўқитишни осонлаштиради.

ResNet-нинг асосий элементи — ResidualBlock, у кириш сигналига бир неча қатламнинг чиқишини қўшади ва қуйидаги функцияни амалга оширади:

output = F(x) + x

бу ерда F(x) — киришнинг трансформацияси (масалан, бир неча конволюцион қатламлар).

PyTorch ёрдамида Pythonда ResidualBlock мисоли:

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super(ResidualBlock, self).__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual
        out = self.relu(out)
        return out

Бу блок тармоқнинг самарали ўрганишини ёрдам беради, чунки градиент тўғридан-тўғри резидуал боғланишлар орқали ўтади.