Какво е BigBird и какви видове внимание съчетава?

BigBird е архитектура на трансформатор, проектирана да обработва много дълги последователности, които традиционните трансформатори не могат ефективно да обработват поради квадратичната сложност на вниманието.

BigBird комбинира няколко вида внимание:

• Разредено (sparse) внимание: вместо пълно внимание към всички токени, вниманието е ограничено до подмножество от токени.
• Глобално внимание: някои специални токени (например, токен CLS) имат достъп до всички други токени, което позволява запазване на глобална информация.
• Случайно внимание: за всеки токен се избира случайна група от други токени за внимание, което помага за моделиране на разнообразни зависимости.
• Прозоречно (window) внимание: всеки токен обръща внимание на съседните токени в фиксирано прозорец, осигурявайки локален контекст.

Комбинацията от тези видове внимание позволява на BigBird ефективно да мащабира на много дълги последователности, като запазва качеството на модела и намалява изчислителните разходи от квадратични до линейни или близки до тях.