Was zeigt der Aufmerksamkeitsvektor in Transformatoren?

Der Aufmerksamkeitsvektor in Transformatoren zeigt, wie stark das Modell "aufpasst" auf jedes Wort (oder Token) der Eingabesequenz, wenn es ein bestimmtes Token in der Ausgabe verarbeitet. Einfach gesagt, sind es Gewichte, die die Bedeutung jedes Eingabeelements für den aktuellen Schritt bestimmen.

Zum Beispiel, beim Übersetzen eines Satzes in einem Transformator, wird für jedes Wort in der Ausgabe ein Aufmerksamkeitsvektor berechnet, der angibt, welche Wörter im Eingangssatz am relevantesten sind, um dieses Wort zu generieren. Dies ermöglicht es dem Modell, den Kontext und Abhängigkeiten zwischen den Wörtern zu berücksichtigen, auch wenn sie weit voneinander entfernt sind.

Der Aufmerksamkeitsvektor ist eine Reihe von Zahlen (Gewichten), die normalerweise mit Softmax normalisiert werden, wobei größere Werte eine größere Bedeutung des entsprechenden Eingabetokens für den aktuellen Schritt anzeigen.

Beispiel: Wenn das Modell das Wort "bank" im Kontext von "river bank" übersetzt, kann der Aufmerksamkeitsvektor die Wörter "river" und "bank" im Eingang hervorheben, um die Bedeutung richtig zu verstehen.