Кадом намудҳои нормализатсия вуҷуд доранд (Batch, Layer, Instance, Group, RMSNorm)?

Нормализация дар нейронӣ шабакаҳо кӯмак мекунад, ки омӯзишро устувор ва суръатбахш кунад, кам кардани интиқоли дарунӣ дар тақсимоти фаъолсозӣ. Навъҳои асосии нормализация:

• Normalizatsiya po partiyadi (Batch Normalization, BatchNorm) — нормализация дар асоси партия. Миёна ва дисперсияро барои ҳар як хусусият дар мини-партия ҳисоб мекунад, пас арзишҳоро миқёс медиҳад ва кӯч медиҳад. Самарабахш аст, аммо аз андозаи партия вобаста аст.

• Normalizatsiya дар сатҳ (Layer Normalization, LayerNorm) — нормализация дар сатҳ. Статистикҳоро барои ҳамаи нейронҳо дар як сатҳ барои ҳар як намунаи алоҳида ҳисоб мекунад, бидуни вобастагӣ аз андозаи партия. Дар RNN ва трансформаторҳо маъмул аст.

• Normalizatsiya дар намуна (Instance Normalization, InstanceNorm) — нормализация дар асоси намуна ва канал, одатан дар коркарди тасвирҳо, масалан, дар интиқоли услуб истифода мешавад.

• Гурӯҳ Normalizatsiya (Group Normalization, GroupNorm) — каналҳоро ба гурӯҳҳо тақсим мекунад ва дар дохили ҳар гурӯҳ нормал мекунад. Дар андозаи хурди партия устувор аст.

• RMSNorm (Root Mean Square Normalization) — нормализация бо истифода аз решаи миёнаи квадратҳои арзишҳо, бидуни баровардани миёна. Алтернатива соддашудаи LayerNorm, баъзан натиҷаҳои беҳтар медиҳад дар трансформаторҳо.

Масалан, BatchNorm дар PyTorch:

import torch
import torch.nn as nn

batch_norm = nn.BatchNorm1d(num_features=10)
x = torch.randn(32, 10)  # партия аз 32 намуна
output = batch_norm(x)