Aké funkcie aktivácie sa používajú v CV (Swish/SiLU, Mish, GELU)?

V počítačovom videní (CV) sa často používajú moderné aktivačné funkcie, ktoré pomáhajú zlepšiť učenie neurónových sietí prostredníctvom hladších a adaptívnejších nelineárností v porovnaní s klasickým ReLU.

• Swish (SiLU) — aktivačná funkcia definovaná ako (x \cdot \sigma(x)), kde (\sigma) je sigmoid. Zabezpečuje plynulý gradient a pomáha vyhnúť sa problému "mŕtvych neurónov". Často sa používa v moderných architektúrach, napríklad EfficientNet.

• Mish — podobná Swish, ale s komplexnejšou formulou: (x \cdot \tanh(\ln(1 + e^x))). Má vlastnosti autoregulácie a podporuje lepšiu konvergenciu a generalizáciu.

• GELU (Gaussian Error Linear Unit) — funkcia približne rovná (x \cdot \Phi(x)), kde (\Phi(x)) je kumulatívna distribučná funkcia normálneho rozdelenia. Používa sa v transformátoroch a iných modeloch, dobre funguje s pravdepodobnostným prístupom k aktivácii.

Príklad použitia Swish v PyTorch:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Tieto funkcie pomáhajú modelom lepšie sa učiť a dosahovať vyššiu presnosť v úlohách CV, najmä v hlbokých sieťach.