Racontez l'idée de Longformer et son attention creuse.

Longformer est une architecture de transformeur conçue pour traiter des séquences très longues, où le mécanisme d’attention classique (auto-attention) devient trop coûteux en calcul.

L’idée de Longformer consiste à utiliser une attention creuse (sparse) plutôt qu’une attention dense (dense). Au lieu de calculer l’attention entre toutes les paires de tokens (ce qui a une complexité quadratique), Longformer limite l’attention à des fenêtres locales et à certains tokens globaux.

Principales caractéristiques :

• Attention locale : chaque token n’interagit qu’avec un nombre limité de tokens voisins (par exemple, dans une fenêtre de taille fixe), ce qui réduit considérablement la charge de calcul.
• Attention globale : certains tokens spéciaux (par exemple, le token CLS) peuvent accéder à toute la séquence, permettant au modèle de prendre en compte le contexte global.

Ainsi, Longformer conserve la capacité de considérer le contexte, mais avec une complexité linéaire en longueur de séquence, ce qui permet de traiter efficacement de très longs textes.

C’est particulièrement utile dans les tâches de traitement du langage naturel (PLN), où il est nécessaire d’analyser de grands documents, par exemple pour la classification, l’extraction d’informations ou les questions-réponses.