Какую проблему решает батч-нормализация?

Батч-нормализация решает проблему внутреннего смещения распределения (internal covariate shift) в процессе обучения нейронных сетей. Это явление возникает, когда распределение входных данных для каждого слоя меняется в процессе обучения, что замедляет и усложняет обучение.

Батч-нормализация стабилизирует и нормализует входы каждого слоя, приводя их к нулевому среднему и единичной дисперсии в пределах мини-батча. Это позволяет использовать более высокие скорости обучения, уменьшает зависимость от инициализации весов и помогает избежать затухания или взрыва градиентов.

Пример использования в PyTorch:

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(100, 50)
        self.bn1 = nn.BatchNorm1d(50)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn1(x)  # батч-нормализация
        x = self.relu(x)
        return x

Таким образом, батч-нормализация ускоряет и стабилизирует обучение глубоких нейронных сетей.