Kaip sudarytas transformatorius ir kokie pagrindiniai blokai jame yra?

Transformeris — tai neuroninių tinklų architektūra, plačiai naudojama sekų apdorojimui, pavyzdžiui, teksto. Transformerio pagrindinė idėja — naudoti dėmesio (attention) mechanizmą skirtingų įvesties dalių svarbumui įvertinti be rekursinių ar konvoliucinių sluoksnių.

Dideli transformerių blokai:

1. Įvesties reprezentacija (Embedding) — paverčia įvesties žodžius į vektorių reprezentacijas.

2. Pozicinė koduotė (Positional Encoding) — prideda informaciją apie žodžių poziciją sekoje, nes dėmesio mechanizmas neatsižvelgia į tvarką.

3. Dėmesio mechanizmas (Self-Attention) — skaičiuoja svorius kiekvienam žodžiui atsižvelgiant į kitus, leidžiant modeliui susitelkti į svarbias dalis.

4. Daugiažvaigždžių dėmesys (Multi-Head Attention) — kelių dėmesio mechanizmų taikymas vienu metu, siekiant sugauti skirtingus priklausomybių aspektus.

5. Normalizacija ir liekanos jungtys (Layer Normalization ir Residual Connections) — padeda stabilizuoti mokymąsi ir pagerinti gradientų srautą.

6. Visiškai sujungti sluoksniai (Feed-Forward Network) — taikomi kiekvienam elementui atskirai, norint atlikti nelinearų transformavimą.

7. Išeigos sluoksnis — generavimo ar klasifikavimo uždaviniams.

Pavyzdinis paprasto sluoksnio transformeris:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

Taigi, transformeris sudarytas iš pakartotinai naudojamų tokių sluoksnių, leidžiančių efektyviai modeliuoti priklausomybes duomenyse.