Šta je FFN sloj u transformatoru i zašto je potrebna nelinearnost između attention blokova?

Sloj FFN (Mreža za napredni prenos) u transformatoru je dvostruki sloj potpuno povezanih neuronskih mreža, koji se primenjuje odvojeno na svaki element sekvence nakon sloja pažnje. Njegov zadatak je da doda dodatnu nelinearnu obradu i poveća izražajnu sposobnost modela.

Nelinearnost između blokova pažnje je neophodna da bi model mogao aproksimirati složene funkcije i zavisnosti. Pažnja je odgovorna za ponderisano sabiranje informacija na različitim pozicijama, a FFN sa nelinearnom aktivacijom (npr. ReLU ili GELU) pomaže transformatoru da modeluje složenije obrasce od jednostavnih linearnih kombinacija.

Primer strukture sloja FFN:

import torch
import torch.nn as nn

class FFN(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.activation = nn.GELU()
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        return self.linear2(self.activation(self.linear1(x)))

Ovde, d_model je dimenzija ulaznih i izlaznih vektora, d_ff je dimenzija unutrašnjeg sloja, obično veća od d_model.

Na ovaj način, sloj FFN sa nelinearnošću obezbeđuje duboku nelinearnu transformaciju karakteristika, što poboljšava obuku i kvalitet modela.