Kokias aktyvacijos funkcijas taiko CV (Swish/SiLU, Mish, GELU)?

Kompiuterinio matymo (CV) srityje dažnai naudojamos modernios aktyvacijos funkcijos, kurios padeda pagerinti neuroninių tinklų mokymąsi, siūlydamos sklandesnes ir lankstesnes nelinearines funkcijas, palyginti su klasikine ReLU.

• Swish (SiLU) — aktyvacijos funkcija, apibrėžiama kaip (x \cdot \sigma(x)), kur (\sigma) yra sigmoidė. Ji užtikrina glotnų gradientą ir padeda išvengti "mirusių neuronų" problemos. Dažnai naudojama šiuolaikinėse architektūrose, pavyzdžiui, EfficientNet.

• Mish — panaši į Swish, bet su sudėtingesne formule: (x \cdot \tanh(\ln(1 + e^x))). Ji turi savireguliacijos savybių ir skatina geresnį konvergenciją bei bendrumą.

• GELU (Gaussian Error Linear Unit) — maždaug lygi (x \cdot \Phi(x)), kur (\Phi(x)) yra normaliosios pasiskirstymo funkcija. Naudojama transformatoriuose ir kituose modeliuose, gerai veikia su tikimybių požiūriu į aktyvaciją.

Pavyzdys, kaip naudoti Swish PyTorch:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Šios funkcijos padeda modeliams geriau mokytis ir pasiekti aukštesnį tikslumą CV užduotyse, ypač giluminėse tinkluose.