Kuidas arvutada transformeri parameetriseerimine (parameetrite arv sõltuvalt d_model ja kihtidest)?

Transformeri parameetrite arv (kogu parameetrite arv) sõltub mitmest peamisest komponendist, peamiselt mudeli suurusest (d_model) ja kihtide arvust (L).

Peamised parameetrid hõlmavad:

• Tähelepanu mehhanismi lineaarsete kihtide kaalud (küsimus, võti, väärtus, väljund) — igaüks umbes d_model × d_model.
• Normaliseerimise ja positsioonilise kodeerimise kihtide parameetrid (tavaliselt ebaolulised võrreldes teistega).
• Feed-forward võrgustiku parameetrid iga kihi sees — tavaliselt kaks lineaarset kihti suurustega d_model × d_ff ja d_ff × d_model, kus d_ff on sisemise kihi suurus (tavaliselt 4 korda suurem kui d_model).

Hinnanguline valem ühe kihi parameetrite jaoks:

Kihi parameetrid ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Arvestades, et d_ff ≈ 4 × d_model, on lõplik tulemus umbes:

Kihi parameetrid ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Transformeri koguarv parameetreid L kihtidega:

Kokku ≈ L × 20 × d_model²

See on lihtsustatud hinnang, mis ei arvesta embedde ja normaliseerimise parameetreid, kuid annab arusaama sõltuvusest d_model ja kihtide arvust.