Какво е резидуален блок?

Резидуалният блок е архитектурен елемент на невронните мрежи, въведен в ResNet, който помага в борбата с проблема на изчезващите градиенти при обучението на много дълбоки мрежи.

Идеята на резидуалния блок е, че вместо да учи директно отображение ( H(x) ), блокът учи корекция ( F(x) = H(x) - x ), т.е. остатък. В крайна сметка, изходът на блока се изчислява като:

[ \text{изход} = F(x) + x ]

където:

• ( x ) е входът към блока,
• ( F(x) ) е резултатът от няколко слоя (например, свиване, активиране).

Това позволява градиентът по-лесно да преминава през слоевете, подобрявайки обучението на дълбоки модели.

Пример за прост резидуален блок (псевдокод):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # добавяме входа (скокова връзка)
        out = self.relu(out)
        return out

Така, резидуалните блокове позволяват изграждането на много дълбоки невронни мрежи без да се влошава качеството на обучението.