Come viene calcolata la parametrizzazione del trasformatore (numero di parametri in funzione di d_model e strati)?

Il numero di parametri del trasformatore (il numero totale di parametri) dipende da diversi componenti chiave, principalmente dalla dimensione del modello (d_model) e dal numero di strati (L).

I parametri principali includono:

• I pesi degli strati lineari nel meccanismo di attenzione (query, key, value, output) — ognuno di circa d_model × d_model.
• I parametri degli strati di normalizzazione e codifica posizionale (generalmente trascurabili rispetto agli altri).
• I parametri della rete feed-forward all'interno di ogni strato — di solito due strati lineari con dimensioni d_model × d_ff e d_ff × d_model, dove d_ff è la dimensione dello strato interno (di solito 4 volte d_model).

Formula approssimativa per i parametri di uno strato:

Parametri dello strato ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Considerando che d_ff ≈ 4 × d_model, il risultato finale è circa:

Parametri dello strato ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Il numero totale di parametri del trasformatore con L strati:

Totale ≈ L × 20 × d_model²

Questa è una stima semplificata, che non considera i parametri di embedding e normalizzazione, ma fornisce una comprensione della dipendenza da d_model e dal numero di strati.