Transformator parametrikasining hisoblanishi qanday (d_model va qatlamlarga qarab parametrlar soni)?

Transformator parametrlarining (umumiy parametrlar soni) soni bir nechta asosiy komponentlarga, ayniqsa model hajmi (d_model) va qatlamlar soniga (L) bog‘liq.

Asosiy parametrlar quyidagilarni o‘z ichiga oladi:

• E’tibor mexanizmidagi chiziqli qatlamlarning og‘irliklari (so‘rov, kalit, qiymat, chiqish) — har biri taxminan d_model × d_model.
• Normalizatsiya va pozitsion kodlash qatlamlarining parametrlari (odatda boshqalarga nisbatan ahamiyatsiz).
• Har bir qatlam ichidagi feed-forward tarmoq parametrlari — odatda ikki chiziqli qatlam, ularning o‘lchamlari d_model × d_ff va d_ff × d_model bo‘lib, bu yerda d_ff ichki qatlam o‘lchami (odatda d_model ning 4 barobariga teng).

Bir qatlam uchun taxminiy formula:

Qavat parametrlari ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

d_ff ≈ 4 × d_model deb hisoblasak, natija taxminan:

Qavat parametrlari ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

L qatlamli transformatorning umumiy parametrlar soni:

Jami ≈ L × 20 × d_model²

Bu soddalashtirilgan taxmindir, u embeddings va normalizatsiya parametrlarini hisobga olmaydi, lekin d_model va qatlamlar soniga bog‘liqlikni tushunishga yordam beradi.