Transformatorun parametrizasiyası necə hesablanır (d_model və qatlara görə parametr sayı)?

Transformatorun parametr sayısi (ümumi parametr sayısi) bir neçə əsas komponentə bağlıdır, əsasən model ölçüsü (d_model) və qatların sayı (L).

Əsas parametrlər aşağıdakılardır:

• Diqqət mexanizminin xətti qatlarının çəkiləri (sorğu, açar, dəyər, çıxış) — hər biri təxminən d_model × d_model.
• Normalizasiya və mövqe kodlaşdırma qatlarının parametrləri (adətən digər parametrlərlə müqayisədə önəmsiz).
• Hər qat daxilində feed-forward şəbəkənin parametrləri — adətən iki xətti qat, ölçüləri d_model × d_ff və d_ff × d_model, burada d_ff daxili qatın ölçüsüdür (adətən d_model-in 4 misli).

Bir qat üçün təxmini formul:

Qat parametrləri ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

d_ff ≈ 4 × d_model götürsək, nəticə təxminən:

Qat parametrləri ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

L qatlı transformatorun ümumi parametr sayı:

Ümumilikdə ≈ L × 20 × d_model²

Bu sadələşdirilmiş təxmin olub, embedding və normalizasiya parametrlərini nəzərə almır, lakin d_model və qatların sayına bağlılığı anlamağa kömək edir.