BigBird nima va u qanday e'tibor turlarini birlashtiradi?

BigBird — bu transformator arxitekturasi bo'ylab juda uzun ketma-ketliklarni qayta ishlash uchun ishlab chiqilgan bo'lib, an'anaviy transformatorlar kvadratlik e'tibor murakkabligi tufayli samarali ishlay olmaydi.

BigBird bir nechta turdagi e'tiborni birlashtiradi:

• Qarqib (sparse) e'tibor: barcha tokenlarga to'liq e'tibor o'rniga, e'tibor tokenlarning kichik bir qismiga cheklangan.
• Global e'tibor: ba'zi maxsus tokenlar (masalan, CLS token) boshqa barcha tokenlarga kirish huquqiga ega bo'lib, global ma'lumotlarni saqlash imkonini beradi.
• Tasodifiy e'tibor: har bir token uchun, e'tibor uchun tasodifiy tanlangan boshqa tokenlar to'plami tanlanadi, bu esa turli xil bog'liqliklarni modellashtirishga yordam beradi.
• Deraza (window) e'tibori: har bir token, belgilangan derazada joylashgan qo'shni tokenlarga e'tibor qaratadi, bu esa mahalliy kontekstni ta'minlaydi.

Ushbu turdagi e'tiborlarning kombinatsiyasi BigBird'ning juda uzun ketma-ketliklarga samarali o'sishini ta'minlaydi, model sifatini saqlab qoladi va hisoblash xarajatlarini kvadratlikdan chiziqli yoki unga yaqin darajaga kamaytiradi.