Multihead e'tiborida qanday uchta matritsa ishlatiladi?

Multi-head attentionda, kiriting asosiy uchta matritsa ishlatiladi, ular kirish ma'lumotlaridan hosil qilinadi:

1. Query (Q) — so'rovlar matritsasi, u qaysi kirish elementlariga e'tibor qaratish kerakligini belgilaydi.
2. Key (K) — kalitlar matritsasi, u so'rovlar bilan mos kelish va muhimligini aniqlash uchun ishlatiladi.
3. Value (V) — qiymatlar matritsasi, u e'tibor natijasida yig'iladigan ma'lumotlarni o'z ichiga oladi.

E'tibor jarayoni Q va K o'rtasidagi skalar ko'paytma sifatida e'tibor og'irliklarini hisoblaydi, ularni normallashtiradi va V ga qo'llaydi, natijada og'irlangan qiymatlar yig'indisi olinadi. Multi-head attentionda, bu jarayon bir nechta parallel takrorlanadi, turli Q, K va V proyeksiyalari bilan, bu modelga turli ma'lumot jihatlarini aniqlash imkonini beradi.