Τι δείχνει το διανύσμα προσοχής στους μετασχηματιστές;

Ο διανυσματικός δείκτης προσοχής στους μετασχηματιστές δείχνει πόσο έντονα το μοντέλο "δίνει προσοχή" σε κάθε λέξη (ή τοκενα) της εισερχόμενης ακολουθίας κατά την επεξεργασία ενός συγκεκριμένου τοκενα στην έξοδο. Με απλά λόγια, είναι βάρη που καθορίζουν τη σημασία κάθε στοιχείου εισόδου για το τρέχον βήμα.

Για παράδειγμα, κατά τη μετάφραση μιας πρότασης σε έναν μετασχηματιστή, για κάθε λέξη στην έξοδο υπολογίζεται ένα διάνυσμα προσοχής που δείχνει ποιες λέξεις στην εισερχόμενη πρόταση είναι πιο σχετικές για τη δημιουργία αυτής της λέξης. Αυτό επιτρέπει στο μοντέλο να λαμβάνει υπόψη το πλαίσιο και τις εξαρτήσεις μεταξύ των λέξεων, ακόμη και αν βρίσκονται μακριά η μία από την άλλη.

Το διάνυσμα προσοχής είναι ένα σύνολο αριθμών (βάρη), που κανονικοποιούνται συνήθως με softmax, όπου μεγαλύτερες τιμές υποδεικνύουν μεγαλύτερη σημασία του αντίστοιχου εισερχόμενου τοκενα για το τρέχον βήμα.

Παράδειγμα: αν το μοντέλο μεταφράζει τη λέξη "bank" στο πλαίσιο του "river bank", το διάνυσμα προσοχής μπορεί να επισημάνει τις λέξεις "river" και "bank" στην είσοδο, για να κατανοήσει σωστά το νόημα.