CVде (Swish/SiLU, Mish, GELU) кайсы активдештирүү функциялары колдонулат?

Компьютер көрүүсүндө (CV) көбүнчө заманбап активдештирүү функциялары колдонулат, алар нейрондук тармактарды үйрөтүүнү жакшыртууга жардам берет, классикалык ReLUга салыштырмалуу көбүрөөк жоон жана адаптивдүү неликвидүүлүк менен.

• Swish (SiLU) — активдештирүү функциясы, аны (x \cdot \sigma(x)) деп аныктайт, анда (\sigma) сигмоид. Ал жогорку жогорулайт жана "өлүк нейрондор" маселесинен сактайт. EfficientNet сыяктуу заманбап архитектураларда кеңири колдонулат.

• Mish — Swishке окшош, бирок көбүрөөк татаал формуласы бар: (x \cdot \tanh(\ln(1 + e^x))). Ал өзүн-өзү жөнгө салуу касиеттерине ээ жана жакшыраак конвергенция жана жалпылоо үчүн шарт түзөт.

• GELU (Gaussian Error Linear Unit) — (x \cdot \Phi(x)) менен жакын, (\Phi(x)) — нормалдуу бөлүштүрүүнүн кумулятивдүү функциясы. Ал трансформаторлордо жана башка моделдерде колдонулат жана мүмкүнчүлүк жактан жакшы иштейт.

PyTorchте Swish колдонуу мисалы:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Бул функциялар моделдерге жакшыраак үйрөнүүгө жана CV тапшырмаларында жогорку тактыкка жетүүгө жардам берет.