Kaip skaičiuojama transformatoriaus parametrizacija (parametrų skaičius priklausomai nuo d_model ir sluoksnių)?

Transformatoriaus parametrų skaičius (bendras parametrų skaičius) priklauso nuo kelių pagrindinių komponentų, pirmiausia nuo modelio dydžio (d_model) ir sluoksnių skaičiaus (L).

Pagrindiniai parametrai apima:

• Linijinių sluoksnių svorius dėmesio mechanizme (klausimas, raktas, reikšmė, išvestis) — kiekvienas jų maždaug d_model × d_model.
• Normalizacijos ir pozicinio kodavimo sluoksnių parametrai (paprastai nereikšmingi palyginti su kitais).
• Feed-forward tinklo parametrai kiekviename sluoksnyje — paprastai du linijiniai sluoksniai su dydžiais d_model × d_ff ir d_ff × d_model, kur d_ff yra vidinio sluoksnio dydis (paprastai 4 kartus didesnis už d_model).

Apytikslė formulė vieno sluoksnio parametrams:

Sluoksnio parametrai ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Apskaičiavus, kad d_ff ≈ 4 × d_model, galutinis rezultatas yra maždaug:

Sluoksnio parametrai ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Bendras transformatoriaus parametrų skaičius su L sluoksniais:

Iš viso ≈ L × 20 × d_model²

Tai yra supaprastinta įvertinimas, kuris neatsižvelgia į įterpimo ir normalizacijos parametrus, tačiau padeda suprasti priklausomybę nuo d_model ir sluoksnių skaičiaus.