Kann man zweidimensionale Positionskodierung in Transformatoren verwenden, die mit Bildern arbeiten?

Ja, die zweidimensionale Positionscodierung kann und sollte häufig in Transformatoren verwendet werden, die mit Bildern arbeiten. Im Gegensatz zu Textdaten, bei denen die Positionscodierung in der Regel eindimensional ist (eine Sequenz von Tokens), haben Bilder eine zweidimensionale Struktur (Breite und Höhe).

Die zweidimensionale Positionscodierung ermöglicht es dem Modell, die räumlichen Koordinaten von Pixeln oder Patches zu berücksichtigen, was das Verständnis der Bildstruktur verbessert.

Beispielansatz:

• Erstellen Sie separate Positionsvektoren für die Koordinaten entlang der X- und Y-Achse.
• Addieren oder konkateniere diese Vektoren, um die endgültige Positionscodierung für jeden Patch zu erhalten.

Dies hilft dem Transformer, die Anordnung der Elemente im zweidimensionalen Raum zu berücksichtigen, was für Aufgaben der Computer Vision entscheidend ist.