Wie ist ein Transformator aufgebaut und welche…

Ein Transformer ist eine neuronale Netzwerkarchitektur, die weit verbreitet ist, um Sequenzen zu verarbeiten, z.B. Text. Die Hauptidee des Transformers ist die Verwendung eines Attention-Mechanismus, um die Bedeutung verschiedener Teile der Eingabedaten zu gewichten, ohne rekurrente oder konvolutionale Schichten.

Die Hauptblöcke des Transformers:

Eingaberepräsentation (Embedding) — wandelt Eingabe-Tokens in Vektorrepräsentationen um.
Positionskodierung (Positional Encoding) — fügt Informationen über die Position der Tokens in der Sequenz hinzu, da der Attention-Mechanismus die Reihenfolge nicht berücksichtigt.
Attention-Mechanismus (Self-Attention) — berechnet Gewichtungskoeffizienten für jedes Token im Verhältnis zu allen anderen, sodass das Modell sich auf relevante Teile der Eingabe konzentrieren kann.
Multi-Head Attention — wendet mehrere Attention-Mechanismen parallel an, um verschiedene Aspekte der Abhängigkeit zu erfassen.
Normalisierung und Residual-Verbindungen (Layer Normalization und Residual Connections) — helfen, das Training zu stabilisieren und den Gradientenfluss zu verbessern.
Vollständig verbundene Schichten (Feed-Forward Network) — werden auf jedes Element der Sequenz separat angewendet, um eine nichtlineare Transformation durchzuführen.
Ausgabeschicht — für Generierungs- oder Klassifizierungsaufgaben.

Beispiel für eine vereinfachte Struktur einer Transformer-Schicht:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

Auf diese Weise wird der Transformer aus wiederholten Schichten aufgebaut, was eine effiziente Modellierung der Abhängigkeiten in den Daten ermöglicht.

Wie ist ein Transformator aufgebaut und welche Hauptblöcke hat er?