Кои функции на активиране се прилагат в CV (Swish/SiLU, Mish, GELU)?

В компютърното зрение (CV) често се използват съвременни функции на активиране, които помагат за подобряване на обучението на невронните мрежи чрез по-гладки и адаптивни нелинейности в сравнение с класическата ReLU.

• Swish (SiLU) — функция на активиране, дефинирана като (x \cdot \sigma(x)), където (\sigma) е сигмоидата. Осигурява плавен градиент и помага да се избегне проблемът с "мъртвите неврони". Често се използва в съвременни архитектури като EfficientNet.

• Mish — подобна на Swish, но с по-сложна формула: (x \cdot \tanh(\ln(1 + e^x))). Има свойства на саморегулация и насърчава по-добра сходимост и обобщение.

• GELU (Gaussian Error Linear Unit) — функция, приблизително равна на (x \cdot \Phi(x)), където (\Phi(x)) е кумулативната функция на нормалното разпределение. Използва се в трансформатори и други модели, работи добре с вероятностен подход към активирането.

Пример за използване на Swish в PyTorch:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Тези функции помагат на моделите да учат по-добре и да постигат по-висока точност при задачи с CV, особено в дълбоки мрежи.