Какво е FFN слой в трансформер и защо е необходима нелинейност между attention блоковете?

Слой FFN (Feed-Forward Network) в трансформера е двуслоен напълно свързан невронен мрежа, която се прилага отделно към всеки елемент от последователността след слоя на вниманието. Неговата задача е да добави допълнителна нелинейна обработка и да увеличи изразителната способност на модела.

Нелинейността между блоковете на вниманието е необходима, за да може моделът да апроксимира сложни функции и зависимости. Вниманието отговаря за претегленото сумиране на информацията по различни позиции, а FFN с нелинейна активация (например ReLU или GELU) помага на трансформера да моделира по-сложни модели, отколкото просто линейни комбинации.

Пример за структура на слой FFN:

import torch
import torch.nn as nn

class FFN(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.activation = nn.GELU()
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        return self.linear2(self.activation(self.linear1(x)))

Тук, d_model е размерността на входните и изходните вектори, d_ff е размерността на вътрешния слой, обикновено по-голяма от d_model.

По този начин, слой FFN с нелинейност осигурява дълбока нелинейна трансформация на характеристиките, което подобрява обучението и качеството на модела.