Wat is BigBird en welke soorten aandacht combineert het?

BigBird is een transformer-architectuur ontworpen om zeer lange sequenties te verwerken, die traditionele transformers niet efficiënt kunnen verwerken vanwege de kwadratische complexiteit van de aandacht.

BigBird combineert verschillende soorten aandacht:

• Sparsame (sparse) aandacht: in plaats van volledige aandacht voor alle tokens, wordt de aandacht beperkt tot een subset van tokens.
• Globale aandacht: sommige speciale tokens (bijvoorbeeld het CLS-token) hebben toegang tot alle andere tokens, waardoor globale informatie behouden kan blijven.
• Willekeurige aandacht: voor elke token wordt een willekeurige set andere tokens geselecteerd voor aandacht, wat helpt bij het modelleren van diverse afhankelijkheden.
• Venster (window) aandacht: elke token richt zijn aandacht op naburige tokens binnen een vast venster, wat een lokale context garandeert.

De combinatie van deze soorten aandacht stelt BigBird in staat om efficiënt op zeer lange sequenties te schalen, de modelkwaliteit te behouden en de rekenkosten van kwadratisch naar lineair of dicht daarbij te verminderen.