Hoe wordt de parametrisatie van de transformator berekend (aantal parameters op basis van d_model en lagen)?

Het aantal parameters van de transformator (het totale aantal parameters) hangt af van verschillende belangrijke componenten, vooral van de modelgrootte (d_model) en het aantal lagen (L).

De belangrijkste parameters omvatten:

• De gewichten van de lineaire lagen in het aandachtmechanisme (query, key, value, output) — elk ongeveer d_model × d_model.
• De parameters van normalisatie- en positiekoderinglagen (meestal verwaarloosbaar in vergelijking met de anderen).
• De parameters van het feed-forward netwerk binnen elke laag — meestal twee lineaire lagen met groottes d_model × d_ff en d_ff × d_model, waarbij d_ff de grootte van de interne laag is (meestal 4 keer d_model).

Geschatte formule voor de parameters van één laag:

Laagparameters ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Aangezien d_ff ≈ 4 × d_model, is het uiteindelijke resultaat ongeveer:

Laagparameters ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Het totale aantal parameters van de transformer met L lagen:

Totaal ≈ L × 20 × d_model²

Dit is een vereenvoudigde schatting, die de parameters van embeddings en normalisatie niet meerekent, maar geeft inzicht in de afhankelijkheid van d_model en het aantal lagen.