Qu'est-ce que BigBird et quels types d'attention combine-t-il?

BigBird est une architecture de transformeur conçue pour traiter des séquences très longues, que les transformeurs traditionnels ne peuvent pas gérer efficacement en raison de la complexité quadratique de l'attention.

BigBird combine plusieurs types d'attention :

• Attention dispersée (sparse) : au lieu d'une attention complète à tous les tokens, l'attention est limitée à un sous-ensemble de tokens.
• Attention globale : certains tokens spéciaux (par exemple, le token CLS) ont accès à tous les autres tokens, ce qui permet de conserver une information globale.
• Attention aléatoire : pour chaque token, un ensemble aléatoire d'autres tokens est sélectionné pour l'attention, aidant à modéliser diverses dépendances.
• Attention par fenêtre (window) : chaque token prête attention aux tokens voisins dans une fenêtre fixe, assurant un contexte local.

La combinaison de ces types d'attention permet à BigBird de s'étendre efficacement à des séquences très longues, tout en maintenant la qualité du modèle et en réduisant les coûts computationnels de quadratiques à linéaires ou proches.