Mi az a BigBird és milyen figyelmi típusokat ötvöz?

A BigBird egy transzformer architektúra, amelyet nagyon hosszú szekvenciák feldolgozására terveztek, amelyeket a hagyományos transzformerek nem tudnak hatékonyan kezelni a figyelem kvadratikus összetettsége miatt.

A BigBird többféle figyelmetípust kombinál:

• Ritka (sparse) figyelem: ahelyett, hogy minden tokenre teljes figyelmet fordítanánk, a figyelem egy tokenek egy kiválasztott részhalmazára korlátozódik.
• Globális figyelem: néhány speciális token (pl. CLS token) hozzáférést kap minden más tokenhez, így megőrizve a globális információkat.
• Véletlenszerű figyelem: minden tokenhez véletlenszerűen kiválasztott más tokenek halmaza van, ami segít a különböző függőségek modellezésében.
• Ablak (window) figyelem: minden token figyel a szomszédos tokenekre egy rögzített ablakon belül, ezáltal helyi kontextust biztosítva.

Ezeknek a figyelmetípusoknak a kombinációja lehetővé teszi, hogy a BigBird hatékonyan skálázzon nagyon hosszú szekvenciákra, megőrizve a modell minőségét és csökkentve a számítási költségeket a kvadratikusról lineárisra vagy azokhoz közeli értékekre.