Что такое residual блок?

Residual блок — это архитектурный элемент нейронных сетей, введённый в ResNet, который помогает бороться с проблемой затухающих градиентов при обучении очень глубоких сетей.

Идея residual блока в том, что вместо того, чтобы учить прямое отображение ( H(x) ), блок учит поправку ( F(x) = H(x) - x ), то есть остаток (residual). В итоге выход блока вычисляется как:

[ \text{output} = F(x) + x ]

где:

• ( x ) — вход блока,
• ( F(x) ) — результат нескольких слоёв (например, свёрток, активаций).

Это позволяет градиенту легче проходить через слои, улучшая обучение глубоких моделей.

Пример простого residual блока (псевдокод):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # добавляем вход (skip connection)
        out = self.relu(out)
        return out

Таким образом, residual блоки позволяют строить очень глубокие нейронные сети без ухудшения качества обучения.