Какво е GELU и защо е по-добър от ReLU в трансформаторите?

GELU (Гаусова грешка линейна единица) е функция на активиране, която често се използва в трансформатори и други съвременни невронни мрежи. Тя се различава от класическия ReLU по това, че е гладка и взема предвид вероятностния характер на активирането.

Приблизителната формула за GELU изглежда така:

[ \text{GELU}(x) = x \cdot \Phi(x) ]

където ( \Phi(x) ) е функцията за разпределение на стандартното нормално разпределение.

Предимствата на GELU спрямо ReLU:

• Гладкост: GELU е непрекъсната и диференцируема, което подобрява обучението.
• Стохастичност: GELU взема предвид вероятността за активиране на неврона, което помага на модела по-добре да се справя с шум и несигурност.
• По-добро представяне на данните: при NLP задачи и трансформатори GELU насърчава по-ефективно обучение и подобрява качеството на модела.

Пример за използване в PyTorch:

import torch
import torch.nn.functional as F

def gelu(x):
    return 0.5 * x * (1 + torch.tanh(torch.sqrt(torch.tensor(2 / 3.1415)) * (x + 0.044715 * x ** 3)))

x = torch.tensor([-1.0, 0.0, 1.0])
print(gelu(x))

По този начин GELU осигурява по-плавна и информативна активация в сравнение с ReLU, което е важно за сложни модели като трансформатори.