Wat is GELU en waarom is het beter dan ReLU in transformers?

GELU (Gaussian Error Linear Unit) is een activeringsfunctie die vaak wordt gebruikt in transformers en andere moderne neurale netwerken. Het verschilt van de klassieke ReLU doordat het glad is en rekening houdt met de probabilistische aard van activatie.

De formule van GELU lijkt ongeveer op:

[ \text{GELU}(x) = x \cdot \Phi(x) ]

waar ( \Phi(x) ) de cumulatieve distributiefunctie van de standaard normale verdeling is.

Voordelen van GELU ten opzichte van ReLU:

• Gladheid: GELU is continu en differentieerbaar, wat het leren verbetert.
• Stochasticiteit: GELU houdt rekening met de waarschijnlijkheid dat een neuron geactiveerd wordt, wat het model helpt om beter om te gaan met ruis en onzekerheid.
• Betere gegevensrepresentatie: bij NLP-taken en transformers bevordert GELU efficiënter leren en verbetert de modelkwaliteit.

Voorbeeld van gebruik in PyTorch:

import torch
import torch.nn.functional as F

def gelu(x):
    return 0.5 * x * (1 + torch.tanh(torch.sqrt(torch.tensor(2 / 3.1415)) * (x + 0.044715 * x ** 3)))

x = torch.tensor([-1.0, 0.0, 1.0])
print(gelu(x))

Op deze manier biedt GELU een soepelere en informatieve activatie in vergelijking met ReLU, wat belangrijk is voor complexe modellen zoals transformers.