რა აქტივაციის ფუნქციებს იყენებენ CV-ში (Swish/SiLU, Mish, GELU)?

კომპიუტერული ხედვის (CV) სფეროში ხშირად გამოიყენება თანამედროვე აქტივაციის ფუნქციები, რომლებიც ეხმარება ნეირონული ქსელების სწავლას უფრო გლუვი და ადაპტირებადი ნეირონული არალინერიებით, შედარებით კლასიკურ ReLU-სთან.

• Swish (SiLU) — აქტივაციის ფუნქცია, განსაზღვრული როგორც (x \cdot \sigma(x)), სადაც (\sigma) არის სიგმოიდი. უზრუნველყოფს გლუვ გრადიენტს და ეხმარება "მკვდარი ნეირონების" პრობლემის თავიდან აცილებაში. ხშირად გამოიყენება თანამედროვე არქიტექტურებში, მაგალითად EfficientNet-ში.

• Mish — მსგავსია Swish-ის, მაგრამ უფრო კომპლექსური ფორმულით: (x \cdot \tanh(\ln(1 + e^x))). აქვს ავტორეგულაციის თვისებები და ხელს უწყობს უკეთეს კონვერგენციას და ზოგადიზაციას.

• GELU (Gaussian Error Linear Unit) — დაახლოებით თანაბარია (x \cdot \Phi(x))-ს, სადაც (\Phi(x)) არის ნორმალური განაწილების კუმულატიური ფუნქცია. გამოიყენება ტრანსფორმატორებში და სხვა მოდელებში, კარგად მუშაობს პრობაბილისტურ მიდგომასთან.

PyTorch-ში Swish-ის გამოყენების მაგალითი:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

ეს ფუნქციები ეხმარება მოდელებს უკეთ სწავლაში და მაღალი სიზუსტის მიღწევაში CV დავალებებში, განსაკუთრებით ღრმა ქსელებში.