Ako sa počíta parametrizácia transformátora (počet parametrov v závislosti od d_model a vrstiev)?

Počet parametrov transformátora (celkový počet parametrov) závisí od niekoľkých kľúčových komponentov, predovšetkým od veľkosti modelu (d_model) a počtu vrstiev (L).

Hlavné parametre zahŕňajú:

• Váhy lineárnych vrstiev v mechanizme pozornosti (dotaz, kľúč, hodnota, výstup) — každý približne d_model × d_model.
• Parametre normalizačných a pozičných kódovacích vrstiev (zvyčajne zanedbateľné v porovnaní s ostatnými).
• Parametre feed-forward siete vo vnútri každej vrstvy — zvyčajne dve lineárne vrstvy s rozmermi d_model × d_ff a d_ff × d_model, kde d_ff je veľkosť vnútorného vrstvy (zvyčajne 4-krát väčšia ako d_model).

Približný vzorec pre parametre jednej vrstvy:

Parametre vrstvy ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Vzhľadom na to, že d_ff ≈ 4 × d_model, je konečný výsledok približne:

Parametre vrstvy ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Celkový počet parametrov transformátora s L vrstvami:

Celkom ≈ L × 20 × d_model²

Toto je zjednodušený odhad, ktorý nezahŕňa parametre embeddingov a normalizácie, ale poskytuje pochopenie závislosti od d_model a počtu vrstiev.