Ինչպե՞ս է հաշվվում տրանսֆորմատորի պարամետրիկությունը (պարամետրերի քանակը՝ կախված d_model-ից և շերտերից):

Տրանսֆորմատորի պարամետրերի քանակը (ընդհանուր պարամետրերի քանակը) կախված է մի քանի հիմնական բաղադրիչներից, մասնավորապես մոդելի չափից (d_model) և շերտերի թվից (L):

Հիմնական պարամետրերը ներառում են.

• Ակնարկային մեխանիզմի գծային շերտերի քաշերը (հարց, բանալի, արժեք, ելք) — յուրաքանչյուրը մոտավորապես d_model × d_model է:
• Նորմալիզացիայի և դիրքային կոդավորման շերտերի պարամետրերը (սովորաբար աննշան համեմատ մյուսների հետ):
• Feed-forward ցանցի պարամետրերը յուրաքանչյուր շերտում — սովորաբար երկու գծային շերտեր, չափերով d_model × d_ff և d_ff × d_model, որտեղ d_ff-ը ներքին շերտի չափն է (սովորաբար 4 անգամ մեծ d_model-ից):

Մոտավոր բանաձև մեկ շերտի պարամետրերի համար՝

Շերտի պարամետրեր ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Հաշվի առնելով, որ d_ff ≈ 4 × d_model, վերջնական արդյունքը մոտավորապես՝

Շերտի պարամետրեր ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

Տրանսֆորմատորի ընդհանուր պարամետրերի քանակը՝ L շերտերով՝

Ընդհանուր ≈ L × 20 × d_model²

Սա պարզեցված գնահատական է, որը չի հաշվի ներդումների և նորմալիզացիայի պարամետրերը, բայց տրամադրում է հասկանալու համար, թե ինչպես է կախված d_model-ից և շերտերի թվից։