Multihead attentionде кайсы үч матрица колдонулат?

Көп баштуу көңүл буруу процесинде үч негизги матрица колдонулат, алар кирүү маалыматтарынан түзүлөт:

1. Query (Q) — суроо матрицасы, ал кайсы кирүү элементтерине көңүл буруу керек экенин аныктайт.
2. Key (K) — ачкыч матрицасы, ал суроолор менен шайкештештирүү жана маанилүүлүгүн аныктоо үчүн колдонулат.
3. Value (V) — маанилер матрицасы, ал көңүл буруу натыйжасында топтолгон маалыматтарды камтыйт.

Көңүл буруу процесси Q жана K ортосундагы скалярлык көбөйтүүнүн натыйжасы катары көңүл буруу салмактарын эсептейт, аларды нормалдаштырып, Vге колдонуп, салмакталган маанилердин суммасын алат. Көп баштуу көңүл бурууда, бул процесс бир нече жолу параллелдүү түрдө кайталанат, ар кандай Q, K жана V проекциялары менен, бул моделге маалыматтын ар кандай аспектилерин кармоого мүмкүндүк берет.