Ce este un strat FFN într-un transformator și de ce este necesară non-lineariatea între blocurile de atenție?

Stratul FFN (Rețea Feed-Forward) dintr-un transformator este o rețea neuronală complet conectată cu două straturi, care se aplică separat fiecărui element al secvenței după stratul de atenție. Sarcina sa este de a adăuga o procesare non liniară suplimentară și de a crește capacitatea expresivă a modelului.

Non-liniaritatea dintre blocurile de atenție este necesară pentru ca modelul să poată aproxima funcții și dependențe complexe. Atenția se ocupă de suma ponderată a informațiilor din diferite poziții, iar FFN cu activare non liniară (de exemplu, ReLU sau GELU) ajută transformatorul să modeleze modele mai complexe decât simple combinații liniare.

Exemplu de structură a unui strat FFN:

import torch
import torch.nn as nn

class FFN(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.activation = nn.GELU()
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        return self.linear2(self.activation(self.linear1(x)))

Aici, d_model este dimensiunea vectorilor de intrare și ieșire, d_ff este dimensiunea stratului intern, de obicei mai mare decât d_model.

Astfel, stratul FFN cu non-liniaritate asigură o transformare profundă non liniară a caracteristicilor, ceea ce îmbunătățește învățarea și calitatea modelului.