Какие функции активации применяют в CV (Swish/SiLU, Mish, GELU)?

В компьютерном зрении (CV) часто применяют современные функции активации, которые помогают улучшить обучение нейросетей за счёт более гладких и адаптивных нелинейностей по сравнению с классическим ReLU.

• Swish (SiLU) — функция активации, определяемая как (x \cdot \sigma(x)), где (\sigma) — сигмоида. Обеспечивает плавный градиент и помогает избежать проблемы "мертвых нейронов". Часто используется в современных архитектурах, например EfficientNet.

• Mish — похожа на Swish, но с более сложной формулой: (x \cdot \tanh(\ln(1 + e^x))). Обладает свойствами саморегуляции и способствует лучшей сходимости и обобщению.

• GELU (Gaussian Error Linear Unit) — функция, приближённо равная (x \cdot \Phi(x)), где (\Phi(x)) — кумулятивная функция нормального распределения. Используется в трансформерах и других моделях, хорошо работает с вероятностным подходом к активации.

Пример использования Swish в PyTorch:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Эти функции помогают моделям лучше обучаться и достигать более высокой точности в задачах CV, особенно на глубоких сетях.