Czym jest BigBird i jakie rodzaje uwagi łączy?

BigBird to architektura transformera zaprojektowana do obsługi bardzo długich sekwencji, które tradycyjne transformery nie mogą efektywnie obsługiwać ze względu na kwadratową złożoność uwagi.

BigBird łączy kilka rodzajów uwagi:

• Rozproszona (sparse) uwaga: zamiast pełnej uwagi do wszystkich tokenów, uwaga jest ograniczona do podzbioru tokenów.
• Globalna uwaga: niektóre specjalne tokeny (np. token CLS) mają dostęp do wszystkich innych tokenów, co pozwala zachować informacje globalne.
• Losowa uwaga: dla każdego tokenu wybierany jest losowy zestaw innych tokenów do uwagi, co pomaga modelować różnorodne zależności.
• Okienkowa (window) uwaga: każdy token zwraca uwagę na sąsiednie tokeny w ustalonym oknie, zapewniając kontekst lokalny.

Połączenie tych rodzajów uwagi pozwala BigBird efektywnie skalować się na bardzo długie sekwencje, zachowując jakość modelu i zmniejszając koszty obliczeniowe z kwadratowych do liniowych lub bliskich temu.