Kuras aktivizācijas funkcijas tiek izmantotas CV (Swish/SiLU, Mish, GELU)?

Datorredzes (CV) jom bieži izmanto mūsdienīgas aktivācijas funkcijas, kas palīdz uzlabot neironu tīklu apmācību, nodrošinot gludākas un pielāgotākas nelinearitātes salīdzinājumā ar klasisko ReLU.

• Swish (SiLU) — aktivācijas funkcija, kas definēta kā (x \cdot \sigma(x)), kur (\sigma) ir sigmoīda. Tā nodrošina gludu gradientu un palīdz izvairīties no "mirušo neironu" problēmas. Bieži tiek izmantota mūsdienu arhitektūrās, piemēram, EfficientNet.

• Mish — līdzīga Swish, bet ar sarežģītāku formulu: (x \cdot \tanh(\ln(1 + e^x))). Tā ir pašregulējoša un veicina labāku konverģenci un vispārēju piemērošanu.

• GELU (Gaussian Error Linear Unit) — aptuveni vienāda ar (x \cdot \Phi(x)), kur (\Phi(x)) ir normālās sadalījuma kumulatīvā funkcija. To izmanto transformatoros un citos modeļos, labi darbojas ar probabilistisku pieeju aktivācijai.

PyTorch piemērs Swish izmantošanai:

import torch
import torch.nn.functional as F

def swish(x):
    return x * torch.sigmoid(x)

x = torch.tensor([-1.0, 0.0, 1.0, 2.0])
print(swish(x))

Šīs funkcijas palīdz modeļiem labāk mācīties un sasniegt augstāku precizitāti CV uzdevumos, īpaši dziļās tīklās.