CVda (Swish/SiLU, Mish, GELU) qanday faollashtirish funksiyalari qo'llaniladi?

Kompyuter ko'rishida (CV) ko'pincha zamonaviy aktivatsiya funksiyalari qo'llaniladi, ular neyron tarmoqlarni o'qitishni yaxshilashga yordam beradi, an'anaviy ReLU ga nisbatan yanada silliq va moslashuvchan no-linearliklar bilan.

• Swish (SiLU) — aktivatsiya funksiyasi, (x \cdot \sigma(x)) tarzida aniqlanadi, bu yerda (\sigma) sigmoida. U silliq gradient ta'minlaydi va "o'lik neyronlar" muammosidan qochishga yordam beradi. Zamonaviy arxitekturalar, masalan, EfficientNetda keng qo'llaniladi.

• Mish — Swish ga o'xshash, lekin yanada murakkab formulaga ega: (x \cdot \tanh(\ln(1 + e^x))). O'zini-regulatsiya xususiyatlariga ega va yaxshiroq konvergentsiya va umumlashtirishni ta'minlaydi.

• GELU (Gaussian Error Linear Unit) — taxminan (x \cdot \Phi(x)) ga teng bo'lib, bu yerda (\Phi(x)) normal taqsimotning kumulyativ taqsimot funktsiyasidir. U transformatorlar va boshqa modellarda ishlatiladi va ehtimollik yondashuvi bilan yaxshi ishlaydi.

PyTorchda Swish ni qanday ishlatish misoli:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Ushbu funksiyalar modellarga yaxshiroq o'rganishga va CV vazifalarida yuqori aniqlikka erishishga yordam beradi.