Трансформердин параметрлери кандайча эсептелет (d_model жана катмарларга карата параметрлердин саны)?

Трансформатордун параметрлеринин саны (жалпы параметрлердин саны) бир нече негизги компоненттерге көз каранды, негизинен моделдин өлчөмү (d_model) жана катмардын саны (L).

Негизги параметрлер төмөнкүлөрдү камтыйт:

• Атайын механизмдеги линейдүү катмардын салмактары (суроо, ачкыч, мааниси, чыгуу) — ар бири болжол менен d_model × d_model.
• Нормализация жана позициялык коддоо катмарынын параметрлери (жалпысынан башка компоненттерге салыштырмалуу маанилүү эмес).
• Ар бир катмардын ичинде feed-forward тармактын параметрлери — адатта эки линейдүү катмары, өлчөмдөрү d_model × d_ff жана d_ff × d_model, анда d_ff — ички катмардын өлчөмү (жалпысынан d_modelдин төрт эсеси).

Бир катмардын болжолдуу формуласы:

Катмардын параметрлери ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

d_ff ≈ 4 × d_model деп алсак, акыркы натыйжа болжол менен:

Катмардын параметрлери ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

L катмары бар трансформатордун жалпы параметрлер саны:

Жалпы ≈ L × 20 × d_model²

Бул жөнөкөйлөштүрүлгөн баа, ал embeddings жана нормализация параметрлерин эске албастан, d_model жана катмардын санына көз карандылыгын түшүнүүгө жардам берет.