Kako je transformator sastavljen i koji su glavni blokovi u njemu?

Transformer je arhitektura neuronske mreže koja se široko koristi za obradu sekvenci, poput teksta. Glavna ideja transformera je korišćenje mehanizma pažnje (attention) za vaganje značaja različitih delova ulaznih podataka bez rekurentnih ili konvolucionih slojeva.

Glavni blokovi transformera:

1. Ulazna reprezentacija (Embedding) — pretvara ulazne tokene u vektorske prikaze.

2. Pozicijsko kodiranje (Positional Encoding) — dodaje informacije o poziciji tokena u sekvenci, jer mehanizam pažnje ne uzima u obzir redosled.

3. Mehanizam pažnje (Self-Attention) — računa koeficijente težine za svaki token u odnosu na sve ostale, omogućavajući modelu da se fokusira na relevantne delove ulaza.

4. Višekapna pažnja (Multi-Head Attention) — paralelno primenjuje više mehanizama pažnje za hvatanje različitih aspekata zavisnosti.

5. Normalizacija i rezidualne veze (Layer Normalization i Residual Connections) — pomažu u stabilizaciji obuke i poboljšanju protoka gradijenata.

6. Potpuno povezani slojevi (Feed-Forward Network) — primenjuju se na svaki element sekvence zasebno za nelinearnu transformaciju.

7. Izlazni sloj — za zadatke generisanja ili klasifikacije.

Primer pojednostavljene strukture jednog sloja transformera:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

Na ovaj način, transformer se sastoji od ponovljenih slojeva, što omogućava efikasno modeliranje zavisnosti u podacima.