Multihead diqqətdə hansı üç matris istifadə olunur?

Çox başlı diqqətdə, giriş məlumatlarından formalaşdırılan üç əsas matris istifadə olunur:

1. Query (Q) — sorğu matrisi, hansı giriş elementlərinə diqqət yetiriləcəyini müəyyən edir.
2. Key (K) — açar matrisi, sorğularla uyğunlaşdırmaq və əlaqəliliyi müəyyən etmək üçün istifadə olunur.
3. Value (V) — dəyər matrisi, diqqət nəticəsində toplanacaq məlumatları ehtiva edir.

Diqqət prosesi, Q və K arasında skalar hasil kimi diqqət çəkisi hesablayır, onları normallashtirir və V-yə tətbiq edir, nəticədə çəkili dəyər cəmi alınır. Multi-head diqqətdə, bu proses bir neçə dəfə paralel olaraq müxtəlif Q, K və V proyeksiyaları ilə təkrarlanır, bu da modelin müxtəlif məlumat aspektlərini tutmasına imkan verir.