Hogyan számítják ki a transzformátor paraméterezését (a paraméterek száma a d_model és a rétegek szerint)?

A transzformátor paraméterszáma (az összes paraméter száma) több kulcsfontosságú összetevőtől függ, elsősorban a modell méretétől (d_model) és a rétegek számától (L).

A fő paraméterek a következők:

• Az önfigyelem mechanizmus lineáris rétegeinek súlyai (lekérdezés, kulcs, érték, kimenet) — mindegyik kb. d_model × d_model.
• A normalizációs és pozíciós kódolási rétegek paraméterei (általában elhanyagolhatók a többihez képest).
• Az egyes rétegekben lévő feed-forward hálózat paraméterei — általában két lineáris réteg, méretei d_model × d_ff és d_ff × d_model, ahol d_ff a belső réteg mérete (általában d_model négyszerese).

Egy réteghez közelítő képlet:

Réteg paraméterei ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Figyelembe véve, hogy d_ff ≈ 4 × d_model, a végső eredmény kb:

Réteg paraméterei ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

A transzformátor összes paramétere L réteggel:

Összesen ≈ L × 20 × d_model²

Ez egy leegyszerűsített becslés, amely nem veszi figyelembe az embeddingeket és normalizációt, de segít megérteni a d_model és a rétegek számának függőségét.