Jak se počítá parametrizace transformátoru (počet parametrů podle d_model a vrstev)?

Počet parametrů transformátoru (celkový počet parametrů) závisí na několika klíčových složkách, především na velikosti modelu (d_model) a počtu vrstev (L).

Hlavní parametry zahrnují:

• Váhy lineárních vrstev v mechanismu pozornosti (dotaz, klíč, hodnota, výstup) — každá přibližně d_model × d_model.
• Parametry normalizačních a pozičních kódovacích vrstev (obvykle zanedbatelné ve srovnání s ostatními).
• Parametry feed-forward sítě uvnitř každé vrstvy — obvykle dvě lineární vrstvy s rozměry d_model × d_ff a d_ff × d_model, kde d_ff je velikost vnitřní vrstvy (obvykle 4krát větší než d_model).

Přibližný vzorec pro parametry jedné vrstvy:

Parametry vrstvy ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Vzhledem k tomu, že d_ff ≈ 4 × d_model, je konečný výsledek přibližně:

Parametry vrstvy ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Celkový počet parametrů transformátoru s L vrstvami:

Celkem ≈ L × 20 × d_model²

Toto je zjednodušený odhad, který nezahrnuje parametry embeddingů a normalizace, ale poskytuje představu o závislosti na d_model a počtu vrstev.