Was ist Multi-Query-Attention und wo wird sie eingesetzt?

Multi-Query-Attention ist eine Modifikation des Attention-Mechanismus in Transformatoren, bei der mehrere Schlüssel (keys) und Werte (values) in einen gemeinsamen Satz zusammengeführt werden, während für jede Abfrage (query) ein separater Satz von Abfragen verwendet wird. Dies ermöglicht eine erhebliche Reduzierung des Speicherbedarfs und der Rechenkosten, insbesondere bei langen Sequenzen, wobei die Modellqualität erhalten bleibt.

Hauptanwendung der Multi-Query-Attention ist in großen Sprachmodellen und Transformatoren, bei denen Effizienz und Skalierbarkeit wichtig sind, z.B. in GPT-4 und anderen modernen Architekturen. Dieser Ansatz hilft, die Inferenz zu beschleunigen und die Ressourcenanforderungen zu senken, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Beispiel: Anstatt für jede Aufmerksamkeitshaupt (multi-head attention) separate Schlüssel und Werte zu haben, verwenden alle Köpfe einen gemeinsamen Satz von Schlüsseln und Werten, während die Anfragen individuell bleiben.