CV'de (Swish/SiLU, Mish, GELU) hangi aktivasyon fonksiyonları kullanılır?

Bilgisayarla Görü (CV) alanında, genellikle modern aktivasyon fonksiyonları kullanılır; bu fonksiyonlar, klasik ReLU’ya kıyasla daha düzgün ve uyarlanabilir doğrusal olmayanlıklar sayesinde sinir ağlarının eğitimini geliştirmeye yardımcı olur.

• Swish (SiLU) — (x \cdot \sigma(x)) olarak tanımlanan aktivasyon fonksiyonu, burada (\sigma) sigmoid fonksiyonudur. Düzgün bir gradyan sağlar ve "ölü nöron" sorununu önlemeye yardımcı olur. Genellikle EfficientNet gibi modern mimarilerde kullanılır.

• Mish — Swish'e benzer, ancak daha karmaşık bir formüle sahiptir: (x \cdot \tanh(\ln(1 + e^x))). Kendini düzenleme özelliklerine sahiptir ve daha iyi yakınsama ve genelleme sağlar.

• GELU (Gaussian Error Linear Unit) — yaklaşık olarak (x \cdot \Phi(x)) ile eşdeğerdir, burada (\Phi(x)) normal dağılımın kümülatif dağılım fonksiyonudur. Dönüştürücüler ve diğer modellerde kullanılır ve olasılıksal yaklaşımla iyi çalışır.

PyTorch'ta Swish kullanımı örneği:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Bu fonksiyonlar, modellerin daha iyi öğrenmesine ve özellikle derin ağlarda CV görevlerinde daha yüksek doğruluk elde etmesine yardımcı olur.