GELU nədir və niyə transformatorlarda ReLU-dan daha yaxşıdır?

GELU (Qrafik Xətası Xətti Birimi) — bu aktivləşdirmə funksiyasıdır və tez-tez transformerlərdə və digər müasir neyron şəbəkələrində istifadə olunur. O, klassik ReLU-dan fərqli olaraq, hamar və aktivləşdirmənin ehtimolluq xarakterini nəzərə alır.

GELU-nun təxmini formulu belə görünür:

[ \text{GELU}(x) = x \cdot \Phi(x) ]

burada ( \Phi(x) ) standart normal paylanmanın kümülatif paylanma funksiyasıdır.

ReLU ilə müqayisədə GELU-nun üstünlükləri:

• Hamarlıq: GELU davamlı və törəməli olduğundan, öyrənmə prosesini yaxşılaşdırır.
• Stokastiklik: GELU neyronun aktivləşmə ehtimalını nəzərə alır, bu da modelin səs və qeyri-müəyyənliklə daha yaxşı işləməsinə kömək edir.
• Məlumatların daha yaxşı təqdimatı: NLP və transformerlərdə GELU daha effektiv öyrənməyə və model keyfiyyətini artırmağa kömək edir.

PyTorch-də istifadə nümunəsi:

import torch
import torch.nn.functional as F

def gelu(x):
    return 0.5 * x * (1 + torch.tanh(torch.sqrt(torch.tensor(2 / 3.1415)) * (x + 0.044715 * x ** 3)))

x = torch.tensor([-1.0, 0.0, 1.0])
print(gelu(x))

Bu şəkildə, GELU ReLU ilə müqayisədə daha hamar və məlumatlandırıcı aktivləşmə təmin edir, bu da mürəkkəb modellər üçün, məsələn, transformerlər üçün vacibdir.