Что такое GELU и чем он лучше ReLU в трансформерах?

GELU (Gaussian Error Linear Unit) — это функция активации, которая часто используется в трансформерах и других современных нейросетях. Она отличается от классического ReLU тем, что является гладкой и учитывает вероятностный характер активации.

Формула GELU приближённо выглядит так:

[ \text{GELU}(x) = x \cdot \Phi(x) ]

где ( \Phi(x) ) — функция распределения стандартного нормального распределения.

Преимущества GELU над ReLU:

• Гладкость: GELU непрерывна и дифференцируема, что улучшает обучение.
• Стохастичность: GELU учитывает вероятность активации нейрона, что помогает модели лучше обрабатывать шум и неопределённость.
• Лучшее представление данных: в задачах NLP и трансформерах GELU способствует более эффективному обучению и улучшает качество модели.

Пример использования в PyTorch:

import torch
import torch.nn.functional as F

def gelu(x):
    return 0.5 * x * (1 + torch.tanh(torch.sqrt(torch.tensor(2 / 3.1415)) * (x + 0.044715 * x ** 3)))

x = torch.tensor([-1.0, 0.0, 1.0])
print(gelu(x))

Таким образом, GELU обеспечивает более плавную и информативную активацию по сравнению с ReLU, что важно для сложных моделей, таких как трансформеры.