Ποιες τρεις μήτρες χρησιμοποιούνται στην πολυκεφαλική προσοχή;

Στην πολυκεφαλική προσοχή, χρησιμοποιούνται τρεις βασικές μήτρες, που σχηματίζονται από τα εισερχόμενα δεδομένα:

1. Query (Q) — μήτρα ερωτημάτων, που καθορίζει σε ποια στοιχεία της εισόδου πρέπει να δοθεί προσοχή.
2. Key (K) — μήτρα κλειδιών, που χρησιμοποιείται για την αντιστοίχιση με τα ερωτήματα και τον καθορισμό της σχετικότητας.
3. Value (V) — μήτρα τιμών, που περιέχει τις πληροφορίες που θα συγκεντρωθούν στο αποτέλεσμα της προσοχής.

Η διαδικασία της προσοχής υπολογίζει τα βάρη προσοχής ως το εσωτερικό γινόμενο μεταξύ Q και K, τα κανονικοποιεί και τα εφαρμόζει στο V για να πάρει ένα σταθμισμένο άθροισμα των τιμών. Στην πολυκεφαλική προσοχή, αυτή η διαδικασία επαναλαμβάνεται παράλληλα πολλές φορές με διαφορετικές προβολές των Q, K και V, επιτρέποντας στο μοντέλο να συλλάβει διαφορετικές πτυχές της πληροφορίας.