Cos'è BigBird e quali tipi di attenzione combina?

BigBird è un'architettura di trasformatori progettata per elaborare sequenze molto lunghe, che i trasformatori tradizionali non possono gestire efficacemente a causa della complessità quadratica dell'attenzione.

BigBird combina diversi tipi di attenzione:

• Attenzione sparsa (sparse): invece di un'attenzione completa a tutti i token, l'attenzione è limitata a un sottoinsieme di token.
• Attenzione globale: alcuni token speciali (ad esempio, il token CLS) hanno accesso a tutti gli altri token, consentendo di mantenere informazioni globali.
• Attenzione casuale: per ogni token, viene selezionato un insieme casuale di altri token per l'attenzione, aiutando a modellare dipendenze diverse.
• Attenzione a finestra (window): ogni token presta attenzione ai token vicini in una finestra fissa, garantendo un contesto locale.

La combinazione di questi tipi di attenzione permette a BigBird di scalare efficacemente a sequenze molto lunghe, mantenendo la qualità del modello e riducendo i costi computazionali da quadratici a lineari o vicini a essi.