ResNet идеясы жөнүндө айтып бериңиз жана ResidualBlock кодун жазып бериңиз.

ResNet (Калдык Тармак) идеясы — калдык байланыштарды (skip connections) колдонууга негизделген; бул бир же бир нече катмардын үстүнөн өтүүгө мүмкүндүк берет, бул исчеза турган градиент маселесин алдын алууга жана өтө терең нейрондук тармактарды үйрөнүүнү жеңилдетүүгө жардам берет.

ResNetтин негизги элементи — ResidualBlock, ал кириш сигналын бир нече катманын чыгышына кошуп, төмөндөгү функцияны ишке ашырат:

output = F(x) + x

мында F(x) — кириштин трансформациясы (мисалы, бир нече конволюциялык катмары).

PyTorch колдонуп Pythonда ResidualBlock мисалы:

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super(ResidualBlock, self).__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual
        out = self.relu(out)
        return out

Бул блок тармактын натыйжалуу үйрөнүшүнө жардам берет, анткени градиент түздөн-түз калдык байланыштар аркылуу өтөт.