Որ ակտիվացման ֆունկցիաներ են կիրառվում CV-ում (Swish/SiLU, Mish, GELU)?

Համակարգչային տեսլականում (CV) հաճախ կիրառվում են ժամանակակից ակտիվացման ֆունկցիաներ, որոնք օգնում են բարելավել նեյրոնային ցանցերի ուսուցումը՝ ավելի հարթ և ադապտացվող ոչ գծայինությունների միջոցով՝ համեմատած դասական ReLU-ի:

• Swish (SiLU) — ակտիվացման ֆունկցիա, սահմանվում է որպես (x \cdot \sigma(x)), որտեղ (\sigma) սիգմոիդ է: ապահովում է հարթ գրաֆիկ և օգնում է խուսափել "մեռած նեյրոնների" խնդրից: Շատ հաճախ օգտագործվում է ժամանակակից ճարտարապետություններում, օրինակ՝ EfficientNet-ում:

• Mish — նման է Swish-ին, բայց ավելի բարդ ձևաչափով՝ (x \cdot \tanh(\ln(1 + e^x))): ունի ինքնակառավարման հատկություններ և նպաստում է ավելի լավ կոնվերգենցիային և ընդհանուրացման:

• GELU (Gaussian Error Linear Unit) — մոտավոր հավասար է (x \cdot \Phi(x)), որտեղ (\Phi(x)) նորմալ բաշխման կուտակային ֆունկցիա է: օգտագործվում է տրանսֆորմատորներում և այլ մոդելներում, լավ աշխատում է հավանականության մոտեցմամբ:

Օրինակ՝ Swish- ի օգտագործումը PyTorch-ում:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Այս ֆունկցիաները օգնում են մոդելներին ավելի լավ սովորել և հասնել ավելի բարձր ճշգրտության՝ CV խնդիրներում, հատկապես խորը ցանցերում: