Wie wird die Parameterisierung des Transformers berechnet (Anzahl der Parameter in Abhängigkeit von d_model und Schichten)?

Die Anzahl der Parameter des Transformers (die Gesamtzahl der Parameter) hängt von mehreren Schlüsselfaktoren ab, hauptsächlich von der Modellgröße (d_model) und der Anzahl der Schichten (L).

Die Hauptparameter umfassen:

• Die Gewichte der linearen Schichten im Attention-Mechanismus (Query, Key, Value, Output) — jeweils etwa d_model × d_model.
• Die Parameter der Normalisierungs- und Positionskodierungsschichten (in der Regel vernachlässigbar im Vergleich zu den anderen).
• Die Parameter des Feed-Forward-Netzwerks innerhalb jeder Schicht — in der Regel zwei lineare Schichten mit Größen d_model × d_ff und d_ff × d_model, wobei d_ff die Größe der inneren Schicht ist (in der Regel 4-mal so groß wie d_model).

Ungefähre Formel für die Parameter einer Schicht:

Schichtparameter ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Unter der Annahme, dass d_ff ≈ 4 × d_model, ergibt sich ungefähr:

Schichtparameter ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Die Gesamtzahl der Parameter des Transformers mit L Schichten:

Gesamt ≈ L × 20 × d_model²

Dies ist eine vereinfachte Schätzung, die die Parameter für Einbettungen und Normalisierung nicht berücksichtigt, aber ein Verständnis für die Abhängigkeit von d_model und der Anzahl der Schichten vermittelt.