Ի՞նչ է մնացորդային բլոկը։

Մնացական բլոկը նեյրոնային ցանցերի ճարտարապետական տարր է, որը ներդրվել է ResNet-ում և օգնում է պայքարել շատ խորը ցանցերի ուսուցման ժամանակ գրադենտների անհետացման խնդրի դեմ:

Մնացական բլոկի գաղափարը այն է, որ փոխարենը սովորել ուղղակի ( H(x) ) արտապատկերությունը, բլոկը սովորում է ուղղում ( F(x) = H(x) - x ), այսինքն՝ մնացորդը։ Վերջում, բլոկի ելքը հաշվարկվում է որպես.

[ \text{արտածիք} = F(x) + x ]

որտեղ՝

• ( x ) բլոկի մուտքն է,
• ( F(x) ) մի քանի շերտերի արդյունքն է (օրինակ՝ կոնվոլյուցիա, ակտիվացումներ):

Այսպիսով, գրադենտը հեշտությամբ անցնում է շերտերով, ինչը բարելավում է խոր մոդելների ուսուցումը:

Պարզ օրինակ՝ ռեզիդուալ բլոկ (պսևդոկոդ):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # ավելացնում ենք մուտքը (կողմնային կապ)
        out = self.relu(out)
        return out

Այսպիսով, ռեզիդուալ բլոկները թույլ են տալիս կառուցել շատ խոր նեյրոնային ցանցեր առանց ուսուցման որակի նվազեցման: