Dönüştürücünün parametreleri nasıl hesaplanır (d_model ve katmanlara göre parametre sayısı)?

Transformerinın parametre sayısı (toplam parametre sayısı), birkaç anahtar bileşene bağlıdır, özellikle model boyutu (d_model) ve katman sayısı (L).

Ana parametreler şunları içerir:

• Dikkat mekanizmasındaki lineer katmanların ağırlıkları (sorgu, anahtar, değer, çıktı) — her biri yaklaşık d_model × d_model.
• Normalizasyon ve konum kodlama katmanlarının parametreleri (genellikle diğerlerine kıyasla önemsiz).
• Her katman içindeki feed-forward ağın parametreleri — genellikle d_model × d_ff ve d_ff × d_model boyutlarında iki lineer katman, burada d_ff iç katman boyutudur (genellikle d_model'in 4 katı).

Bir katmanın yaklaşık parametre formülü:

Katman parametreleri ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

d_ff ≈ 4 × d_model alındığında, sonuç yaklaşık olarak:

Katman parametreleri ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

L katmanlı transformerin toplam parametre sayısı:

Toplam ≈ L × 20 × d_model²

Bu, gömme ve normalizasyon parametreleri dikkate alınmadan yapılan basitleştirilmiş bir tahmindir, ancak d_model ve katman sayısına olan bağımlılığı anlamaya yardımcı olur.