Co je BigBird a jaké typy pozornosti kombinuje?

BigBird je architektura transformátoru navržená pro zpracování velmi dlouhých sekvencí, které tradiční transformátory nemohou efektivně zpracovat kvůli kvadratické složitosti pozornosti.

BigBird kombinuje několik typů pozornosti:

• Řídká (sparse) pozornost: místo úplné pozornosti ke všem tokenům je pozornost omezena na podmnožinu tokenů.
• Globální pozornost: některé speciální tokeny (například token CLS) mají přístup ke všem ostatním tokenům, což umožňuje zachovat globální informace.
• Náhodná pozornost: pro každý token je vybrána náhodná sada jiných tokenů pro pozornost, což pomáhá modelovat rozmanité závislosti.
• Okénková (window) pozornost: každý token věnuje pozornost sousedním tokenům v pevně stanoveném okně, čímž zajišťuje lokální kontext.

Kombinace těchto typů pozornosti umožňuje BigBird efektivně škálovat na velmi dlouhé sekvence, zachovat kvalitu modelu a snížit výpočetní náklady z kvadratických na lineární nebo blízké k nim.