რა ტიპის ნორმალიზაცია არსებობს (Batch, Layer, Instance, Group, RMSNorm)?

Нейрондук тармактарда нормализация үйрөнүүнү турукташтырып, ылдамдатууга жардам берет, активдүүлүктөрдүн ички таралышын азайтат. Негизги нормализация түрлөрү:

• Batch Normalization (BatchNorm) — батч боюнча нормализация. Ар бир өзгөчөлүк үчүн мини-батч боюнча орточо жана дисперсияны эсептейт, андан кийин маанилерди масштабдайт жана жылдырат. Натыйжалуу, бирок батчтин өлчөмүнө көз каранды.

• Layer Normalization (LayerNorm) — катмар боюнча нормализация. Ар бир мисал үчүн катмардын бардык нейрондору үчүн статистикаларды эсептейт, батчтын өлчөмүнө көз каранды эмес. Жиі колдонулат RNN жана трансформерлерде.

• Instance Normalization (InstanceNorm) — мисал жана канал боюнча нормализация, көбүнчө сүрөт иштетүү тапшырмаларында колдонулат, мисалы, стили өткөрүүдө.

• Group Normalization (GroupNorm) — каналдарды топторго бөлүп, ар бир топтун ичинде нормализация жасайт. Кичинекей батч өлчөмдөрүндө туруктуу иштейт.

• RMSNorm (Root Mean Square Normalization) — маанилердин квадратынын орточо маанисинин тамырын колдонуу менен нормализация, орточонун чыгарбастан. LayerNormтун жөнөкөйлөштүрүлгөн версиясы, кээде трансформерлерде жакшы натыйжалар берет.

PyTorchтогу BatchNorm мисалы:

import torch
import torch.nn as nn

batch_norm = nn.BatchNorm1d(num_features=10)
x = torch.randn(32, 10)  # 32 мисалдан турган батч
output = batch_norm(x)