Mi az a residual blokk?

A maradék blokk egy neurális hálózatok architekturális eleme, amelyet a ResNet-ben vezettek be, és segít leküzdeni a gradiens eltűnésének problémáját nagyon mély hálózatok tanítása során.

A maradék blokk ötlete az, hogy ahelyett, hogy közvetlenül megtanulná a ( H(x) ) leképezést, a blokk megtanul egy korrigálást ( F(x) = H(x) - x ), azaz a maradékot. Végül a blokk kimenetét így számítjuk ki:

[ \text{kimenet} = F(x) + x ]

ahol:

• ( x ) a blokk bemenete,
• ( F(x) ) több réteg eredménye (például konvolúció, aktivációk).

Ez lehetővé teszi, hogy a gradiens könnyebben átmenjen a rétegeken, javítva a mély modellek tanítását.

Egyszerű maradék blokk példája (pseudo-kód):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # hozzáadjuk a bemenetet (ugráskapcsolat)
        out = self.relu(out)
        return out

Így a maradék blokkok lehetővé teszik nagyon mély neurális hálózatok építését anélkül, hogy rontanák a tanulás minőségét.