Εξηγήστε τον τύπο της κλιμακωτής προσοχής με το εσωτερικό προϊόν. Γιατί διαιρούμε με sqrt(d_k);

Η κλιμακωμένη προσοχή με το σταυρωτό προϊόν είναι ένας μηχανισμός προσοχής που υπολογίζει τους συντελεστές βάρους για τα στοιχεία μιας ακολουθίας βάσει των εσωτερικών προϊόντων των ερωτημάτων (Q) και των κλειδιών (K). Ο τύπος είναι:

[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V ]

Εδώ:

• Q — μήτρα ερωτημάτων,
• K — μήτρα κλειδιών,
• V — μήτρα τιμών,
• (d_k) — διάσταση των διανυσμάτων κλειδιών.

Ο διαχωρισμός με (\sqrt{d_k}) είναι απαραίτητος για την κλιμάκωση του αποτελέσματος του εσωτερικού προϊόντος. Χωρίς αυτό το βήμα, οι τιμές μπορούν να γίνουν πολύ μεγάλες σε υψηλές διαστάσεις, οδηγώντας σε πολύ μεγάλα επιχειρήματα για τη λειτουργία softmax. Αυτό προκαλεί το πρόβλημα των "εξαφανιζόμενων βαθμίδων" — το softmax γίνεται πολύ "αυστηρό", ένα στοιχείο λαμβάνει σχεδόν το βάρος 1, και τα άλλα σχεδόν 0, κάτι που επιδεινώνει την εκπαίδευση. Η κλιμάκωση σταθεροποιεί τα βαθμίδια και βελτιώνει τη σύγκλιση του μοντέλου.