CV-də (Swish/SiLU, Mish, GELU) hansı aktivləşdirmə funksiyaları tətbiq olunur?

Kompüter görüşündə (CV) müasir aktivasiya funksiyaları tez-tez istifadə olunur ki, bu da neyron şəbəkələrinin öyrənməsini yaxşılaşdırmağa kömək edir, klassik ReLU ilə müqayisədə daha hamar və uyğunlaşa bilən qeyri-xəttiliklər ilə.

• Swish (SiLU) — aktivasiya funksiyası, (x \cdot \sigma(x)) kimi təyin edilir, burada (\sigma) siqmoiddir. O, hamar gradient təmin edir və "ölü neyronlar" probleminin qarşısını almağa kömək edir. Müasir memarlıqda, məsələn, EfficientNet-də geniş istifadə olunur.

• Mish — Swish-ə bənzəyir, lakin daha mürəkkəb formulaya malikdir: (x \cdot \tanh(\ln(1 + e^x))). Öz-özünü tənzimləmə xüsusiyyətlərinə malikdir və daha yaxşı yaxınsama və ümumiləşdirməni təşviq edir.

• GELU (Gaussian Error Linear Unit) — təxminən (x \cdot \Phi(x)) kimi, burada (\Phi(x)) normal paylanmanın kümülatif paylanma funksiyasıdır. Transformatorlar və digər modellərdə istifadə olunur və ehtimal yanaşması ilə yaxşı işləyir.

PyTorch-də Swish istifadəsi nümunəsi:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Bu funksiyalar modellərə daha yaxşı öyrənməyə və CV tapşırıqlarında daha yüksək dəqiqliyə çatmağa kömək edir.