Jak zbudowany jest transformator i jakie główne bloki w nim występują?

Transformer to architektura sieci neuronowej szeroko stosowana do przetwarzania sekwencji, takich jak tekst. Główny pomysł transformera polega na użyciu mechanizmu uwagi (attention) do ważenia znaczenia różnych części danych wejściowych bez warstw rekurencyjnych lub konwolucyjnych.

Główne bloki transformera:

1. Reprezentacja wejściowa (Embedding) — zamienia tokeny wejściowe na reprezentacje wektorowe.

2. Kodowanie pozycyjne (Positional Encoding) — dodaje informacje o pozycji tokenów w sekwencji, ponieważ mechanizm uwagi nie uwzględnia kolejności.

3. Mechanizm uwagi (Self-Attention) — oblicza współczynniki wag dla każdego tokena względem wszystkich pozostałych, umożliwiając modelowi skupienie się na istotnych częściach wejścia.

4. Wielogłowicza uwaga (Multi-Head Attention) — równoległe zastosowanie kilku mechanizmów uwagi do uchwycenia różnych aspektów zależności.

5. Normalizacja i połączenia residual (Layer Normalization i Residual Connections) — pomagają stabilizować trening i poprawić przepływ gradientów.

6. Warstwy w pełni połączone (Feed-Forward Network) — stosowane do każdego elementu sekwencji osobno, w celu nieliniowej transformacji.

7. Warstwa wyjściowa — do zadań generacji lub klasyfikacji.

Przykład uproszczonej struktury jednej warstwy transformera:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

W ten sposób, transformator jest zbudowany z powtarzających się warstw, co pozwala na efektywne modelowanie zależności w danych.