Šta je BigBird i koje vrste pažnje kombinuje?

BigBird je arhitektura transformatora dizajnirana za obradu veoma dugih sekvenci, koje tradicionalni transformatori ne mogu efikasno da obrađuju zbog kvadratne složenosti pažnje.

BigBird kombinuje nekoliko vrsta pažnje:

• Raspoređena (sparse) pažnja: umesto potpune pažnje svim tokenima, pažnja je ograničena na podskup tokena.
• Globalna pažnja: neki specijalni tokeni (npr. CLS token) imaju pristup svim ostalim tokenima, što omogućava očuvanje globalnih informacija.
• Nasumična pažnja: za svaki token, bira se nasumičan skup drugih tokena za pažnju, što pomaže u modeliranju raznovrsnih zavisnosti.
• Prozor (window) pažnja: svaki token obraća pažnju na susedne tokene u fiksnom prozoru, obezbeđujući lokalni kontekst.

Kombinacija ovih vrsta pažnje omogućava BigBird efikasno skaliranje na veoma duge sekvence, održavajući kvalitet modela i smanjujući računarske troškove sa kvadratnih na linearne ili blizu njih.