Ce este BigBird și ce tipuri de atenție combină?

BigBird este o arhitectură de transformator proiectată pentru a procesa secvențe foarte lungi, pe care transformatoarele tradiționale nu le pot gestiona eficient din cauza complexității pătratice a atenției.

BigBird combină mai multe tipuri de atenție:

• Atenție dispersată (sparse): în loc de atenție completă la toți tokenii, atenția este limitată la un subset de tokeni.
• Atenție globală: unii tokeni speciali (de exemplu, tokenul CLS) au acces la toți ceilalți tokeni, ceea ce permite păstrarea informației globale.
• Atenție aleatorie: pentru fiecare token, se selectează un set aleatoriu de alți tokeni pentru atenție, ajutând la modelarea diverselor dependențe.
• Atenție pe fereastră (window): fiecare token acordă atenție tokenilor vecini într-o fereastră fixă, asigurând un context local.

Combinația acestor tipuri de atenție permite BigBird să scaleze eficient la secvențe foarte lungi, păstrând calitatea modelului și reducând costurile computaționale de la cuadratic la liniar sau apropiat de acesta.