Was ist der Unterschied zwischen Self-Attention und Cross-Attention, und wofür wird jeder verwendet?

Selbstaufmerksamkeit — ist ein Mechanismus, bei dem die Elemente einer Eingabesequenz miteinander interagieren, um Wichtigkeitsgewichte zu berechnen. Jedes Element 'schaut aufmerksam' auf alle anderen Elemente derselben Sequenz, um zu verstehen, welche für den aktuellen Schritt wichtiger sind. Dies ist eine Schlüsselkomponente in Transformatoren zur Verarbeitung von Sequenzen, z.B. in Sprachmodellen.

Kreuzaufmerksamkeit — wird verwendet, wenn es zwei verschiedene Sequenzen gibt: eine dient als Anfrage (query), die andere als Schlüssel und Werte (key, value). Kreuzaufmerksamkeit ermöglicht es dem Modell, sich auf relevante Teile der zweiten Sequenz zu konzentrieren, während es die erste verarbeitet. Zum Beispiel verbindet die Kreuzaufmerksamkeit im Übersetzungs- oder Textgenerierungsaufgaben die Ausgabe des Decoders mit der des Encoders.

Kurz gesagt:

• Selbstaufmerksamkeit hilft dem Modell, den Kontext innerhalb einer Sequenz zu berücksichtigen.
• Kreuzaufmerksamkeit verbindet zwei verschiedene Sequenzen, sodass eine die Information der anderen berücksichtigen kann.

Beispiel: In einem Transformator für Übersetzungen wird die Selbstaufmerksamkeit innerhalb des Encoders und Decoders angewendet, während die Kreuzaufmerksamkeit zwischen Encoder und Decoder erfolgt.