Welke activatiefuncties worden toegepast in CV (Swish/SiLU, Mish, GELU)?

In computer vision (CV) worden vaak moderne activatiefuncties gebruikt die helpen bij het verbeteren van het trainen van neurale netwerken door soepelere en adaptievere niet-lineariteiten in vergelijking met de klassieke ReLU.

• Swish (SiLU) — activatiefunctie gedefinieerd als (x \cdot \sigma(x)), waarbij (\sigma) de sigmoid is. Biedt een vloeiende gradiënt en helpt het probleem van "dode neuronen" te voorkomen. Wordt vaak gebruikt in moderne architecturen zoals EfficientNet.

• Mish — vergelijkbaar met Swish, maar met een complexere formule: (x \cdot \tanh(\ln(1 + e^x))). Heeft zelfregulerende eigenschappen en bevordert betere convergentie en generalisatie.

• GELU (Gaussian Error Linear Unit) — ongeveer gelijk aan (x \cdot \Phi(x)), waarbij (\Phi(x)) de cumulatieve distributiefunctie van de normale verdeling is. Wordt gebruikt in transformers en andere modellen, en werkt goed met een probabilistische benadering van activatie.

Voorbeeld van het gebruik van Swish in PyTorch:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Deze functies helpen modellen beter te leren en hogere nauwkeurigheid te bereiken bij CV-taken, vooral in diepe netwerken.