Ի՞նչ է GELU-ն և ինչու է այն ավելի լավ, քան ReLU-ն տրանսֆորմատորներում։

GELU (Գաուսսյան սխալ գծային միավոր) — սա ակտիվացման ֆունկցիա է, որը հաճախ օգտագործվում է տրանսֆորմատորներում և այլ ժամանակակից նեյրոնային ցանցերում: Այն տարբերվում է դասական ReLU-ից այն կողմից, որ այն հարթ է և հաշվի է առնում ակտիվացման հավանական բնույթը:

GELU-ի մոտավոր բանաձևը հետևյալն է.

[ \text{GELU}(x) = x \cdot \Phi(x) ]

որտեղ ( \Phi(x) ) ստանդարտ նորմալ բաշխման կուտակային դիստրիբյուցիայի ֆունկցիան է:

GELU-ի առավելությունները ReLU-ի նկատմամբ.

• Հարթություն: GELU-ն շարունակական և տարբերելի է, ինչը բարելավում է ուսուցումը:
• Ստոկաստիկություն: GELU-ն հաշվի է առնում նյարդային ակտիվացման հավանականությունը, ինչը օգնում է մոդելին ավելի լավ կառավարել աղմուկը և անհայտությունը:
• Լավ տվյալների ներկայացում: NLP և տրանսֆորմատորների խնդիրներում GELU-ն նպաստում է ավելի արդյունավետ ուսուցմանը և բարելավում մոդելի որակը:

Օգտագործման օրինակ PyTorch-ում:

import torch
import torch.nn.functional as F

def gelu(x):
    return 0.5 * x * (1 + torch.tanh(torch.sqrt(torch.tensor(2 / 3.1415)) * (x + 0.044715 * x ** 3)))

x = torch.tensor([-1.0, 0.0, 1.0])
print(gelu(x))

Այսպիսով, GELU-ն ապահովում է ավելի հարթ և տեղեկատվական ակտիվացում, քան ReLU-ն, ինչը կարևոր է բարդ մոդելների համար, ինչպիսիք են տրանսֆորմատորները: