Cum se calculează parametrizarea transformatorului (numărul de parametri în funcție de d_model și straturi)?

Numărul de parametri ai transformatorului (numărul total de parametri) depinde de mai mulți componente cheie, în principal de dimensiunea modelului (d_model) și de numărul de straturi (L).

Parametrii principali includ:

• Greutățile straturilor liniare din mecanismul de atenție (query, key, value, output) — fiecare de aproximativ d_model × d_model.
• Parametrii straturilor de normalizare și codificare pozițională (de obicei neglijabili în comparație cu ceilalți).
• Parametrii rețelei feed-forward din interiorul fiecărui strat — de obicei două straturi liniare cu dimensiuni d_model × d_ff și d_ff × d_model, unde d_ff este dimensiunea stratului intern (de obicei de 4 ori mai mare decât d_model).

Formula aproximativă pentru parametrii unui strat:

Parametri strat ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Luând în considerare că d_ff ≈ 4 × d_model, rezultatul final este aproximativ:

Parametri strat ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Numărul total de parametri ai transformatorului cu L straturi:

Total ≈ L × 20 × d_model²

Aceasta este o estimare simplificată, care nu ia în considerare parametrii de embedding și normalizare, dar oferă o înțelegere a dependenței de d_model și de numărul de straturi.