Was ist ein Video-Transformer (ViViT, TimeSformer)?

Video Transformer ist eine Architektur, die auf Transformatoren basiert und für die Verarbeitung von Videodaten angepasst wurde. Im Gegensatz zu klassischen CNNs, die Faltungen zur Merkmalsextraktion verwenden, setzen Video Transformer einen Attention-Mechanismus (Self-Attention) ein, um räumlich-zeitliche Abhängigkeiten im Video zu modellieren.

ViViT (Video Vision Transformer) und TimeSformer sind zwei bekannte Varianten solcher Modelle:

• ViViT teilt das Video in eine Sequenz von Patches (räumlich-zeitliche Patches), die in den Transformer eingespeist werden. ViViT nutzt verschiedene Strategien der Informationsaggregation in Raum und Zeit, einschließlich separater und gemeinsamer Attention-Mechanismen.

• TimeSformer verwendet geteilte Aufmerksamkeit: Zuerst Aufmerksamkeit in den räumlichen Dimensionen jedes Frames, dann in den zeitlichen Dimensionen zwischen den Frames. Dies reduziert die Rechenkomplexität im Vergleich zur vollständigen räumlich-zeitlichen Aufmerksamkeit.

Beide Modelle ermöglichen es, komplexe Abhängigkeiten im Video effektiv zu erfassen, was die Aufgaben der Klassifikation, Aktionserkennung und andere computer vision-bezogene Aufgaben verbessert.

Beispiel für die vereinfachte Idee von TimeSformer:

# Pseudocode für geteilte Aufmerksamkeit
für jeden Frame im Video:
    räumliche_Funktionen = räumliche_aufmerksamkeit(frame_Patches)

temporale_Funktionen = temporale_aufmerksamkeit(räumliche_Funktionen_über_Frames)

Ausgabe = Klassifikator(temporale_Funktionen)

Auf diese Weise sind Video Transformers ein leistungsstarkes Werkzeug für die Videoanalyse, das die Vorteile von Transformatoren nutzt, um komplexe räumlich-zeitliche Muster zu modellieren.