Kā tiek aprēķināta transformatora parametrizācija (parametru skaits atkarībā no d_model un slāņiem)?

Transformatora parametru skaits (kopējais parametru skaits) ir atkarīgs no vairākiem galvenajiem komponentiem, galvenokārt no modeļa lieluma (d_model) un slāņu skaita (L).

Galvenie parametri ietver:

• Lineāro slāņu svarus uzmanības mehānismā (jautājums, atslēga, vērtība, izeja) — katrs aptuveni d_model × d_model.
• Normalizācijas un pozicionālās kodēšanas slāņu parametri (parasti nenozīmīgi salīdzinājumā ar citiem).
• Feed-forward tīkla parametri katrā slānī — parasti divi lineāri slāņi ar izmēriem d_model × d_ff un d_ff × d_model, kur d_ff ir iekšējā slāņa izmērs (parasti 4 reizes lielāks par d_model).

Aptuvena formula viena slāņa parametriem:

Slāņa parametri ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Ņemot vērā, ka d_ff ≈ 4 × d_model, galarezultāts ir aptuveni:

Slāņa parametri ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Kopējais transformatora parametru skaits ar L slāņiem:

Kopā ≈ L × 20 × d_model²

Šis ir vienkāršots novērtējums, kas neņem vērā iekļaušanas un normalizācijas parametrus, bet sniedz izpratni par atkarību no d_model un slāņu skaita.