როგორ ითვლება ტრანსფორმერის პარამეტრიკა (პარამეტრების რაოდენობა d_model და ფენების მიხედვით)?

ტრანსფორმერის პარამეტრების რაოდენობა (საერთო პარამეტრების რაოდენობა) დამოკიდებულია რამდენიმე ძირითადი კომპონენტზე, ძირითადად მოდელის ზომაზე (d_model) და ფენების რაოდენობაზე (L).

მთავარი პარამეტრები მოიცავს:

• ყურადღების მექანიზმში ხაზოვანი ფენების წონებს (საკითხი, გასაღები, მნიშვნელობა, გამოსავალი) — თითოეული დაახლოებით d_model × d_model.
• ნორმალიზაციის და პოზიციური კოდირების ფენების პარამეტრები (საშუალოდ უმნიშვნელოა სხვა პარამეტრებთან შედარებით).
• ფიდ-ფორვარდ ქსელის პარამეტრები თითოეულ ფენაში — ჩვეულებრივ ორი ხაზოვანი ფენა, ზომებით d_model × d_ff და d_ff × d_model, სადაც d_ff არის შიდა ფენის ზომა (საშუალოდ 4 ჯერ d_model-ის ზომა).

შესაბამისი ფორმულა ერთ ფენაზე:

ფენას პარამეტრები ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

გაითვალისწინეთ, რომ d_ff ≈ 4 × d_model, საბოლოო შედეგი დაახლოებით:

ფენას პარამეტრები ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

ტრანსფორმერის საერთო პარამეტრების რაოდენობა L ფენით:

სულ ≈ L × 20 × d_model²

ეს არის მარტივი შეფასება, რომელიც არ ითვალისწინებს embeddings და ნორმალიზაციის პარამეტრებს, მაგრამ უზრუნველყოფს გაგებას d_model-ზე და ფენების რაოდენობაზე დამოკიდებულების შესახებ.