Welche Aktivierungsfunktionen werden in CV (Swish/SiLU, Mish, GELU) verwendet?

In der Computer Vision (CV) werden häufig moderne Aktivierungsfunktionen eingesetzt, die das Training neuronaler Netze durch glattere und adaptivere Nichtlinearitäten im Vergleich zu klassischen ReLU verbessern.

• Swish (SiLU) — eine Aktivierungsfunktion, definiert als (x \cdot \sigma(x)), wobei (\sigma) die Sigmoidfunktion ist. Sie sorgt für einen glatten Gradient und hilft, das Problem der "toten Neuronen" zu vermeiden. Wird häufig in modernen Architekturen wie EfficientNet verwendet.

• Mish — ähnlich wie Swish, aber mit einer komplexeren Formel: (x \cdot \tanh(\ln(1 + e^x))). Sie besitzt Eigenschaften der Selbstregulierung und fördert eine bessere Konvergenz und Generalisierung.

• GELU (Gaussian Error Linear Unit) — eine Funktion, die ungefähr (x \cdot \Phi(x)) entspricht, wobei (\Phi(x)) die kumulative Verteilungsfunktion der Normalverteilung ist. Wird in Transformatoren und anderen Modellen verwendet und funktioniert gut mit einem probabilistischen Ansatz bei der Aktivierung.

Beispiel für die Verwendung von Swish in PyTorch:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Diese Funktionen helfen den Modellen, besser zu lernen und eine höhere Genauigkeit bei CV-Aufgaben zu erreichen, insbesondere bei tiefen Netzwerken.