Was ist BigBird und welche Arten von Aufmerksamkeit kombiniert es?

BigBird ist eine Transformer-Architektur, die für die Verarbeitung sehr langer Sequenzen entwickelt wurde, die herkömmliche Transformer aufgrund der quadratischen Komplexität der Aufmerksamkeit nicht effizient verarbeiten können.

BigBird kombiniert verschiedene Arten der Aufmerksamkeit:

• Sparsame (dispersed) Aufmerksamkeit: Anstatt vollständiger Aufmerksamkeit für alle Tokens ist die Aufmerksamkeit auf eine Teilmenge von Tokens beschränkt.
• Globale Aufmerksamkeit: Einige spezielle Tokens (z.B. CLS-Token) haben Zugriff auf alle anderen Tokens, was die globale Informationshaltung ermöglicht.
• Zufällige Aufmerksamkeit: Für jedes Token wird eine zufällige Auswahl anderer Tokens für die Aufmerksamkeit getroffen, um vielfältige Abhängigkeiten zu modellieren.
• Fenster (window) Aufmerksamkeit: Jedes Token achtet auf die benachbarten Tokens in einem festen Fenster, was einen lokalen Kontext gewährleistet.

Die Kombination dieser Aufmerksamkeitsarten ermöglicht es BigBird, effizient auf sehr lange Sequenzen zu skalieren, die Modellqualität zu erhalten und die Rechenkosten von quadratisch auf linear oder nahe daran zu reduzieren.