Vertel over het idee van ResNet en schrijf de code ResidualBlock.

Het idee van ResNet (Residual Network) is het gebruik van residuale verbindingen (skip-verbindingen), die het mogelijk maken om één of meerdere lagen over te slaan om het probleem van verdwijnende gradiënten te voorkomen en het trainen van zeer diepe neurale netwerken te vergemakkelijken.

Het belangrijkste element van ResNet is de ResidualBlock, die het ingangssignaal toevoegt aan de uitgang van meerdere lagen, en de functie implementeert:

output = F(x) + x

waar F(x) de transformatie van de invoer is (bijvoorbeeld meerdere convolutionele lagen).

Voorbeeld van ResidualBlock-code in Python met PyTorch:

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super(ResidualBlock, self).__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual
        out = self.relu(out)
        return out

Dit blok helpt het netwerk efficiënter te leren door de gradiënt direct door de residuale verbindingen te laten stromen.