Wat is een FFN-laag in een transformer en waarom is niet-lineariteit tussen de attention-blokken nodig?

De FFN-laag (Feed-Forward Network) in een transformer is een volledig verbonden neuraal netwerk met twee lagen, dat afzonderlijk op elk element van de sequentie wordt toegepast na de aandachtlaag. De taak ervan is om een extra niet-lineaire verwerking toe te voegen en de uitdrukkingskracht van het model te vergroten.

De niet-lineariteit tussen de aandachtblokken is nodig zodat het model complexe functies en afhankelijkheden kan benaderen. Attention is verantwoordelijk voor de gewogen som van informatie op verschillende posities, en de FFN met niet-lineaire activatie (bijvoorbeeld ReLU of GELU) helpt de transformer om complexere patronen te modelleren dan alleen lineaire combinaties.

Voorbeeld van de structuur van een FFN-laag:

import torch
import torch.nn as nn

class FFN(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.activation = nn.GELU()
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        return self.linear2(self.activation(self.linear1(x)))

Hierbij is d_model de dimensie van de invoer- en uitvoervectoren, d_ff is de dimensie van de interne laag, meestal groter dan d_model.

Op deze manier zorgt de FFN-laag met niet-lineariteit voor een diepe niet-lineaire transformatie van kenmerken, wat het leren en de kwaliteit van het model verbetert.