Hogyan épül fel egy transzformátor, és milyen nagy blokkok vannak benne?

A transzformer egy neurális hálózat architektúra, amelyet széles körben használnak szekvenciák, például szöveg feldolgozására. A transzformer fő ötlete az, hogy figyelem (attention) mechanizmust használva súlyozza az adatok különböző részeinek fontosságát, anélkül, hogy rekurzív vagy konvolúciós rétegeket alkalmazna.

A transzformer fő blokkjai:

1. Bemeneti reprezentáció (Embedding) — a bemeneti tokeneket vektorreprezentációkká alakítja.

2. Pozíciós kódolás (Positional Encoding) — információt ad a tokenek pozíciójáról a sorozatban, mivel az attention mechanizmus nem veszi figyelembe a sorrendet.

3. Figyelem mechanizmus (Self-Attention) — kiszámítja a súlykoefficienseket minden tokenre vonatkozóan a többi tokenhez képest, lehetővé téve a modell számára, hogy a releváns részekre összpontosítson.

4. Multi-Head Attention — párhuzamosan több attention mechanizmust alkalmaz, hogy különböző aspektusokat ragadjon meg.

5. Normalizálás és maradék kapcsolatok (Layer Normalization és Residual Connections) — segítenek stabilizálni a tanulást és javítják a gradiens áramlását.

6. Teljesen összekapcsolt rétegek (Feed-Forward Network) — minden szekvenciaelemre külön alkalmazva nemlineáris transzformációt végez.

7. Kimeneti réteg — generálási vagy osztályozási feladatokra.

Egyszerűsített példája egy transzformer réteg szerkezetének:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

Így a transzformer ismétlődő rétegekből épül fel, amelyek hatékonyan modellezik az adatok közötti függőségeket.