Kas yra FFN sluoksnis transformatoriuje ir kodėl reikalinga nelinearumas tarp dėmesio blokų?

Transformerių FFN (Feed-Forward Network) sluoksnis yra dviejų sluoksnių visiškai sujungtas neuroninis tinklas, kuris taikomas atskirai kiekvienam sekos elementui po dėmesio (attention) sluoksnio. Jo užduotis yra pridėti papildomą nelinearų apdorojimą ir padidinti modelio išraiškos galimybes.

Dėmesio blokų tarpusavio nelinearumas yra būtinas, kad modelis galėtų apytikriai modeliuoti sudėtingas funkcijas ir priklausomybes. Dėmesys atsakingas už svorinius informacijos sumavimus skirtingose pozicijose, o FFN su nelinearia aktyvacija (pavyzdžiui, ReLU arba GELU) padeda transformeriui modeliuoti sudėtingesnius modelius nei tik linijinės kombinacijos.

FFN sluoksnio pavyzdinė struktūra:

import torch
import torch.nn as nn

class FFN(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.activation = nn.GELU()
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        return self.linear2(self.activation(self.linear1(x)))

Čia, d_model yra įvesties ir išvesties vektorių dydis, d_ff yra vidinio sluoksnio dydis, dažniausiai didesnis nei d_model.

Taip, FFN sluoksnis su nelinearumu užtikrina gilią nelinearią požymių transformaciją, kas gerina mokymąsi ir modelio kokybę.