Kā ir uzbūvēts transformators un kādi ir galvenie tā blokki?

Transformers — tas ir neironu tīklu arhitektūra, kas plaši tiek izmanto secību apstrādē, piemēram, teksta. Galvenā ideja — izmantot uzmanības (attention) mehānismu, lai sverētu dažādu datu daļu nozīmīgumu bez rekursīviem vai konvolūcijas slāņiem.

Lieli transformera bloki:

1. Ievades attēlojums (Embedding) — pārvērš ievades tokenus vektoru attēlojumos.

2. Pozicionālā kodēšana (Positional Encoding) — pievieno informāciju par tokenu pozīciju secībā, jo uzmanības mehānisms neņem vērā kārtību.

3. Pašuzmanības mehānisms (Self-Attention) — aprēķina svara koeficientus katram tokenam attiecībā uz visiem pārējiem, ļaujot modelim koncentrēties uz svarīgākajām daļām.

4. Daudzgalvu uzmanība (Multi-Head Attention) — vienlaicīga vairāku uzmanības mehānismu izmantošana, lai noķertu dažādus atkarību aspektus.

5. Normalizācija un atlikušās saites (Layer Normalization un Residual Connections) — palīdz stabilizēt apmācību un uzlabot gradientu plūsmu.

6. Pilnīgi saistītie slāņi (Feed-Forward Network) — tiek piemēroti katram elementam atsevišķi, lai veiktu nelineāru pārveidi.

7. Izvades slānis — ģenerēšanas vai klasifikācijas uzdevumiem.

Piemērs vienkāršota viena slāņa transformera struktūrai:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

Tādējādi, transformers sastāv no atkārtotas šādu slāņu izmantošanas, kas ļauj efektīvi modelēt atkarības datos.