რისი residual ბლოკია?

რეზიდუალური ბლოკი არის ნეირონული ქსელების არქიტექტურული ელემენტი, რომელიც შეიყვანეს ResNet-ში და ეხმარება ძალიან ღრმა ქსელების სწავლების დროს გრადიენტების გაქრობის პრობლემის წინააღმდეგ ბრძოლაში.

რეზიდუალური ბლოკის იდეა ის არის, რომ პირდაპირი ( H(x) ) რუკის სწავლების ნაცვლად, ბლოკი სწავლობს კორექტირებას ( F(x) = H(x) - x ), ანუ დარჩენილს. საბოლოოდ, ბლოკის გამოსავალი გამოითვლება ასე:

[ \text{გამოსავალი} = F(x) + x ]

სადაც:

• ( x ) არის ბლოკის შესავალი,
• ( F(x) ) არის რამდენიმე ფენის შედეგი (მაგალითად, კონვოლუცია, აქტივაციები).

ეს საშუალებას აძლევს გრადიენტს უფრო ადვილად გადადოს ფენებს შორის, რაც აუმჯობესებს ღრმა მოდელების სწავლას.

სადაც მაგალითი მარტივი რეზიდუალური ბლოკის (პსევდოკოდი):

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)

    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual  # დამატება შესავალს (სკიპკავშირი)
        out = self.relu(out)
        return out

ამ გზით, რეზიდუალური ბლოკები საშუალებას აძლევენ აშენონ ძალიან ღრმა ნეირონული ქსელები, არანაირი ზიანი არ მიაყენონ სწავლების ხარისხს.