Τι είναι το υπολειμματικό μπλοκ;

Το υπολειπόμενο μπλοκ είναι ένα αρχιτεκτονικό στοιχείο των νευρωνικών δικτύων, που εισήχθη στο ResNet, και βοηθά στην καταπολέμηση του προβλήματος των εξαφανιζόμενων βαθμίδων κατά την εκπαίδευση πολύ βαθιών δικτύων.

Η ιδέα του υπολειπόμενου μπλοκ είναι ότι, αντί να μαθαίνει μια άμεση απεικόνιση ( H(x) ), το μπλοκ μαθαίνει μια διόρθωση ( F(x) = H(x) - x ), δηλαδή το υπολειπόμενο. Στο τέλος, η έξοδος του μπλοκ υπολογίζεται ως:

[ \text{έξοδος} = F(x) + x ]

όπου:

• ( x ) είναι η είσοδος στο μπλοκ,
• ( F(x) ) είναι το αποτέλεσμα πολλών στρωμάτων (π.χ., συνελίξεις, ενεργοποιήσεις).

Αυτό επιτρέπει στο βαθμίδα να περνά πιο εύκολα μέσω των στρωμάτων, βελτιώνοντας την εκπαίδευση βαθιών μοντέλων.

Παράδειγμα ενός απλού υπολειπόμενου μπλοκ (ψευδοκώδικας):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # προσθέτουμε την είσοδο (σύνδεση διαφυγής)
        out = self.relu(out)
        return out

Έτσι, τα υπολειπόμενα μπλοκ επιτρέπουν την κατασκευή πολύ βαθιών νευρωνικών δικτύων χωρίς να υποβαθμίζεται η ποιότητα της εκπαίδευσης.