Ποιο πρόβλημα λύνει η κανονικοποίηση παρτίδας;

Η κανονικοποίηση παρτίδας επιλύει το πρόβλημα της εσωτερικής μετατόπισης των συνδιακυμάνσεων (internal covariate shift) στη διαδικασία εκπαίδευσης νευρωνικών δικτύων. Αυτό το φαινόμενο συμβαίνει όταν η κατανομή των εισόδων κάθε στρώματος αλλάζει κατά τη διάρκεια της εκπαίδευσης, επιβραδύνοντας και καθιστώντας πιο δύσκολη τη μάθηση.

Η κανονικοποίηση παρτίδας σταθεροποιεί και κανονικοποιεί τις εισόδους κάθε στρώματος, φέρνοντάς τες σε μέση τιμή μηδέν και διακύμανση μονάδας εντός του mini-batch. Αυτό επιτρέπει τη χρήση υψηλότερων ταχυτήτων μάθησης, μειώνει την εξάρτηση από την αρχική ρύθμιση των βαρών και βοηθά στην αποφυγή της εξαφάνισης ή της έκρηξης των βαθμίδων.

Παράδειγμα χρήσης σε PyTorch:

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(100, 50)
        self.bn1 = nn.BatchNorm1d(50)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn1(x)  # κανονικοποίηση παρτίδας
        x = self.relu(x)
        return x

Έτσι, η κανονικοποίηση παρτίδας επιταχύνει και σταθεροποιεί την εκπαίδευση βαθιών νευρωνικών δικτύων.