Kako se računa parametrizacija transformatora (broj parametara u zavisnosti od d_model i slojeva)?

Broj parametara transformatora (ukupan broj parametara) zavisi od nekoliko ključnih komponenti, prvenstveno od veličine modela (d_model) i broja slojeva (L).

Glavni parametri uključuju:

• Težine linearnih slojeva u mehanizmu pažnje (upit, ključ, vrednost, izlaz) — svaki od njih je otprilike d_model × d_model.
• Parametri slojeva normalizacije i pozicijskog kodiranja (obično zanemarljivi u poređenju sa ostalim).
• Parametri feed-forward mreže unutar svakog sloja — obično dva linearna sloja sa dimenzijama d_model × d_ff i d_ff × d_model, gde je d_ff veličina unutrašnjeg sloja (obično 4 puta veće od d_model).

Približna formula za parametre jednog sloja:

Parametri sloja ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Uzimajući u obzir da je d_ff ≈ 4 × d_model, krajnji rezultat je otprilike:

Parametri sloja ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Ukupan broj parametara transformatora sa L slojeva:

Ukupno ≈ L × 20 × d_model²

Ovo je pojednostavljena procena, koja ne uzima u obzir parametre ugradnji i normalizacije, ali pruža razumevanje zavisnosti od d_model i broja slojeva.