Kas yra BigBird ir kokius dėmesio tipus jis jungia?

BigBird yra transformatoriaus architektūra, sukurta labai ilgų sekų apdorojimui, kurių tradiciniai transformatoriai efektyviai apdoroti negali dėl dėmesio kvadratinės sudėtingumo.

BigBird jungia keletą dėmesio rūšių:

• Retas (sparse) dėmesys: vietoj viso dėmesio visiems ženkliukams, dėmesys apribojamas iki ženkliukų pogrupio.
• Globalus dėmesys: kai kurie specialūs ženkliukai (pvz., CLS ženkliukas) turi prieigą prie visų kitų ženkliukų, leidžiant išlaikyti globalią informaciją.
• Atsitiktinis dėmesys: kiekvienam ženkliukui pasirenkama atsitiktinė kitų ženkliukų grupė dėmesio tikslams, padedant modeliuoti įvairias priklausomybes.
• Langelio (window) dėmesys: kiekvienas ženkliukas dėmesį skiria šalia esantiems ženkliukams nustatyto lango ribose, užtikrinant vietinį kontekstą.

Šių dėmesio rūšių derinys leidžia BigBird efektyviai skalę į labai ilgus sekų dydžius, išlaikant modelio kokybę ir sumažinant skaičiavimo išlaidas nuo kvadratinės iki linijinės ar artimos jai.