Ce funcții de activare se aplică în CV (Swish/SiLU, Mish, GELU)?

În viziunea computerizată (CV), se folosesc adesea funcții de activare moderne care ajută la îmbunătățirea antrenamentului rețelelor neuronale prin non-liniarități mai line și adaptative comparativ cu ReLU clasic.

• Swish (SiLU) — funcție de activare definită ca (x \cdot \sigma(x)), unde (\sigma) este sigmoida. Asigură un gradient lin și ajută la evitarea problemei "neuronilor morți". Este frecvent utilizată în arhitecturi moderne, precum EfficientNet.

• Mish — similar cu Swish, dar cu o formulă mai complexă: (x \cdot \tanh(\ln(1 + e^x))). Are proprietăți de autoreglare și favorizează o convergență și o generalizare mai bune.

• GELU (Gaussian Error Linear Unit) — funcție aproximativ egală cu (x \cdot \Phi(x)), unde (\Phi(x)) este funcția de distribuție cumulativă normală. Este utilizată în transformatoare și alte modele, funcționând bine cu o abordare probabilistică a activării.

Exemplu de utilizare a Swish în PyTorch:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Aceste funcții ajută modelele să învețe mai bine și să atingă o precizie mai mare în sarcinile de CV, în special în rețelele adânci.