Čo je BigBird a aké typy pozornosti kombinuje?

BigBird je architektúra transformátora navrhnutá na spracovanie veľmi dlhých sekvencií, ktoré tradičné transformátory nemôžu efektívne spracovať kvôli kvadratickej zložitosti pozornosti.

BigBird kombinuje niekoľko typov pozornosti:

• Riedka (sparse) pozornosť: namiesto úplnej pozornosti ku všetkým tokenom je pozornosť obmedzená na podmnožinu tokenov.
• Globálna pozornosť: niektoré špeciálne tokeny (napríklad token CLS) majú prístup ku všetkým ostatným tokenom, čo umožňuje zachovať globálne informácie.
• Náhodná pozornosť: pre každý token je vybraná náhodná sada iných tokenov pre pozornosť, čo pomáha modelovať rozmanité závislosti.
• Okienková (window) pozornosť: každý token venuje pozornosť susedným tokenom v pevne stanovenom okne, čím zabezpečuje lokálny kontext.

Kombinácia týchto typov pozornosti umožňuje BigBird efektívne škálovať na veľmi dlhé sekvencie, zachovať kvalitu modelu a znížiť výpočtové náklady z kvadratických na lineárne alebo blízke k nim.