Milliseid aktivatsioonifunktsioone kasutatakse CV-s (Swish/SiLU, Mish, GELU)?

Arvutigatves (CV) valdkonnas sageli kasutatakse kaasaegseid aktiveerimisfunktsioone, mis aitavad parandada närvivõrkude õppimist, pakkudes sujuvamaid ja kohanemisvõimelisemaid mitte-lineaarseid funktsioone võrreldes klassikalise ReLU-ga.

• Swish (SiLU) — aktiveerimisfunktsioon, mis määratletakse kui (x \cdot \sigma(x)), kus (\sigma) on sigmoida. See tagab sujuva gradienti ja aitab vältida "surnud neuronite" probleemi. Kasutatakse sageli kaasaegsetes arhitektuurides, näiteks EfficientNet.

• Mish — sarnane Swish-ile, kuid keerulisema valemiga: (x \cdot \tanh(\ln(1 + e^x))). Omab eneseregulatsiooni omadusi ja soodustab paremat konvergentsi ning üldistamist.

• GELU (Gaussian Error Linear Unit) — ligikaudu võrdne (x \cdot \Phi(x))-ga, kus (\Phi(x)) on normaaljaotuse kumulatiivne funktsioon. Kasutatakse transformaatoreid ja teisi mudeleid ning töötab hästi tõenäosuslikul lähenemisel aktiveerimisel.

Näide Swish kasutamisest PyTorchis:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Need funktsioonid aitavad mudelitel paremini õppida ja saavutada suuremat täpsust CV ülesannetes, eriti sügavatel võrkudel.